Deze roadmap zorgt ervoor dat de taken, die nodig zijn om een nieuw bronsysteem (SRC) aan het BI Data Lake toe te voegen, worden uitgevoerd. De Source en BI Data Lake areas (Staging en History) worden voorzien van ETL- en database code.
De taken van de ‘Source to BI Data Lake – Roadmap’ worden als volgt schematisch weergegeven:
Deze roadmap beschrijft het doel, het eindresultaat en het werk dat voor elke taak moet worden uitgevoerd.
De roadmap is te lezen als een ‘kookboek’.
SRC-CON; Definieer de bronconfiguratie voor de Powerpack-generator.
Mogelijke bronnen: Oracle, MySQL, SQLServer, PostgreSQL, Snowflake, CSV, JSON en XML.
Definieer ini-file: (initialisatie-eigenschappen) en config-file (configuratie) voor de bron.
SMM-PPK; Definieer de metadata voor de bronsysteem op basis van de aanwezige bronstructuur met de Source Metadata Manager (SMM).
• Vul de SMM-tabellen met standaard metagegevens op basis van het bronsysteem.
• Optimaliseer de SMM-tabellen voor 100% generatie.. (SMM-PPK2)
SMM-CHK; Controleer de consistentie van de SMM-definities (Source Metadata).
De consistentie wordt gecontroleerd voordat de boosters de SMM-tabellen gebruiken voor het genereren van de database DDL en python ETL-software.
STG-DLL; Genereer DDL voor de Staging-area.
Genereer het DDL-script voor het implementeren van de databaseobjecten (table) voor de Staging-area van de database.
STG-ETL; Genereer ETL voor de Staging-area.
Genereer de ETL-scripts voor het laden van de brongegevens in de Staging-area van de database.
STG-DEP; Implementeer de DDL voor de Staging-area in de database.
Implementeer de gegenereerde database objecten in jouw Cloud- of On-Premise database.
STG-RUN; Voer ETL uit voor de Staging-area.
Voer de ETL uit om de data van de bron naar de Staging-area in de database te laden met logging en fout afhandeling.
HIS-DLL; Genereer DDL voor de History-area.
Genereer het DDL-script voor het implementeren van de databaseobjecten (table en sequence) voor de History-area in de database.
HIS-ETL; Genereer ETL voor de History-area.
Genereer de ETL-scripts voor het laden van de brongegevens in de History-area in de database.
• Leg historie vast op basis van wijzigingen op attribuutniveau.
• Incremental update van data wijzigingen.
• Verwijderde records logisch bijhouden;
HIS-DEP; Implementeer de DDL voor de History-area in de database.
Implementeer de gegenereerde database objecten in jouw Cloud- of On-Premise database.
HIS-RUN; Voer ETL uit voor de History-area.
Voer de ETL uit om de data van de Staging-area naar de History-area in de database te laden met logging en fout afhandeling.