Seitenbild backg

Kundenprojekt

ETL-Prozesse

Hochdynamische ETL-Prozesse von AS/400 zu Microsoft SQL Server 2008

Kategorie

  • Business Intelligence
  • Datenbanksysteme

Eingesetzte Technologien

  • Microsoft SQL Server 2008
  • Microsoft SQL Server 2008 Integration Services (SSIS)
  • C# Programmierung Datenzugriff SSIS

Ausgangssituation

Der Kunde ist eines der führenden Immobilienunternehmen in Deutschland und hat mit der Verwaltung von ca. 100.000 Mietwohnungen ein gewaltiges Datenaufkommen zu bewältigen.

Problematik

Zur täglichen Aufbereitung im Konzernweiten Berichtswesen sind Daten aus einem DB2-System auf einer IBM AS/400 erforderlich. Dabei handelt es sich um hunderte Tabellen, die – je nach Größe – nach unterschiedlichen Kriterien gefiltert bzw. in unterschiedliche Zielsysteme übertragen werden müssen, um für jeden Mandanten ein getrenntes Datawarehouse zu befüllen. Ad-hoc Übertragung nach Untermengen von Tabellen, sowie die Erweiterung des Übertra-gungsstandes lediglich durch Konfiguration von Steuertabellen soll möglich sein.

Maßnahmen

Im ersten Schritt wurden die fachlichen Anforderungen an die Datenübertragung präzise analysiert, um ein Datenmodell für Steuertabellen zu generieren, die alle beschriebenen Anforde-rungen überfüllen.

Als Kern-Aufgabe stellt sich die dynamische Erstellung des Datenflusses heraus, um die manuelle Erzeugung und Wartung von hunderten Datenfluss-Tasks zur Entwicklungszeit zu vermeiden. Hierzu werden anhand der in den Steuertabellen enthaltenen Daten zur zu übertragenen Tabelle (Tabellen- und Bibliotheksname) zur Laufzeit Metadaten ermittelt und mit Hilfe der SSIS-APIs in einem unter C# entwickelten SSIS-Skripttask sowohl bei Bedarf die fehlende Tabelle im SQL Server Zielsystem Schemagleich erstellt, als auch dynamisch ein SSIS-Datenflusstask generiert, der die Datenübertragung von der AS/400 dann sofort ausführt.

Aller erforderlichen Daten-Filterungen und –Aufteilungen nach Entscheidungskriterien (z.B. unterschiedlichen Mandanten) sind in den Steuertabellen hinterlegt und werden zur Laufzeit berücksichtigt.

Zuletzt wurden umfangreichen Tabellen mit Buchungsdetaildaten aus ca. 20 Jahren auf dem SQL Server in Tabellenpartitionen mit ausgerichteten Indizes umgesetzt, so dass zudem eine erhebliche Leistungssteigung des ETL-Prozesses erreicht werden konnte.

Kundenergebnis

  • Überschaubares und leicht bedienbares ETL-Paket mit mächtigen Funktionalitäten
  • Dynamischer und stabiler Datenfluss ohne Wartungsaufwand
  • Performance-Steigerung im ETL-Prozess

Folgeaufträge

  • Weitere Beratung und Unterstützung zu laufenden Geschäftsprozessen
  • Erweiterung und Anpassung von weiteren Datawarehouses sowie ETL-Prozesses
  • Optimierung von OLAP-Würfeln auf Basis der übertragenen Daten

nach oben