SSIS-Framework für professionelle Umgebungen

Selbst mit den Verbesserungen, den die SSIS-DB seit SQL Server 2012 erfahren hat, ist die Protokollierung für professionelle Enterprise-Datawarehouse-Systeme unzureichend.

Folgende Fragen sollte ein professionelles Logging beantworten helfen:

  • Mit welchem Paketlauf ist Datensatz X in das System gelangt?
  • Welche anderen Datensätze sind möglicherweise von demselben Logikfehler betroffen wie Datensatz X?
  • Welche Transformationen haben die längste Zeit in Anspruch genommen?
  • Von X Datensätzen, die aus der Datenquelle gelesen wurden, sind wie viele Datensätze beim Datenladevorgang A) neu eingefügt, B) geändert, C) verworfen worden?

Der zweite Aspekt ist, dass ich in der Praxis viel händisches wiederholtes Entwickeln von SSIS-Paketen sehe. Ein professionelles Template, welches das entsprechende Logging bereits mit enthält, spart je mehr Zeit, desto mehr Pakete entwickelt werden, und sorgt obendrein für Einheitlichkeit, was für Troubleshooting essentiell ist.

Aus gut 12 Jahren Erfahrungen im Datawarehouse-Bereich mit SQL Server, Integration und Analysis Services, ist so ein umfassendes Framework inklusive Best Practices-Sammlung entstanden, welches ich je nach Kundenbedarf anpassen kann.

Features umfassen:

  • Standardisierte SSIS Projektvorlage in Visual Studio
  • Standardisierte SSIS Paketvorlagen für SCD1, SCD2 und SCD6 bzw. Master- bzw. Faktentabellen
  • Skripting für Environment Variablen und Zuweisung dieser an das SSIS Projekt in Integration Services
  • RAPID Development – bis zu 10x weniger Entwicklungsarbeit
  • Standardisierter Ansatz erlaubt die Anwendung BIML, EziApi oder XQuery
  • Verwaltung und Pflege aller Paketparameter in einer globalen SQL Tabelle als Erweiterung der SSISDB
  • Aufruf der Pakete durch eigene Stored Procedure mit automatischer Zuweisung der Parameter aus SQL Tabelle
  • Merge Statement für (initiale) Beladung der Parametertabelle mit Rücksicht auf dynamische und fixe Parameter
  • Inkrementeller Ladeprozess durch dynamische Zuweisung der relevanten SSIS Paketparameter
  • SSIS Technik nach Best Practices für Error Ermittlung und Logging im Datenfluss mit Rücksicht auf Transaktionen und bestmöglicher Performance
  • Standardisierte Namenskonventionen aller Tasks- und Datenflusskomponenten
  • Übergabe einer BatchID aus Master-Paket an die Child-Pakete für Reporting- und Performanceoptimierung
  • Logging der extrahierten und geladenen Datensatzanzahl erlaubt Kontrolle über den gesamten Datenfluss
  • Logging für Änderung der Variablenwerte
  • Logging der verwendeten Verbindungen
  • Logging der Fehler aller für den SSIS Prozess genutzten Stored Procedures im SSIS Log und Speicherung in eigener SQL Log Fehler Tabelle
  • Scheduling Engine für Pakete und abhängiger Parameterkonfiguration (erlaubt gezielteres Ausführen von Paketen als SQL Server Agent allein)
  • SSIS DB Indexoptimierung

Lassen Sie sich ein individuelles Angebot unterbreiten und kontaktieren Sie mich.