Website laden..

Deze roadmap zorgt ervoor dat de taken, die nodig zijn om een nieuw bronsysteem (SRC) aan het BI Data Lake toe te voegen, worden uitgevoerd. De Source en BI Data Lake areas (Staging en History) worden voorzien van ETL- en database code.
De taken van de 'Source to BI Data Lake - Roadmap' worden als volgt schematisch weergegeven:

[pagina] - ppk-pgp-src-to-bi-data-lake

Deze roadmap beschrijft het doel, het eindresultaat en het werk dat voor elke taak moet worden uitgevoerd.

De roadmap is te lezen als een 'kookboek'.

[pagina] - recipe

SRC-CON; Definieer de bronconfiguratie voor de Powerpack-generator.
Mogelijke bronnen: Oracle, MySQL, SQLServer, PostgreSQL, CSV, JSON en XML.
Definieer ini-file: (initialisatie-eigenschappen) en config-file (configuratie) voor de bron.

SMM-PPK; Definieer de metadata voor de bronsysteem op basis van de aanwezige bronstructuur met de Source Metadata Manager (SMM).
    • Vul de SMM-tabellen met standaard metagegevens op basis van het bronsysteem.
    • Optimaliseer de SMM-tabellen voor 100% generatie..
SMM-CHK; Controleer de consistentie van de SMM-definities (Source Metadata).
De consistentie wordt gecontroleerd voordat de boosters de SMM-tabellen gebruiken voor het genereren van de PostgreSQL ETL-software.

STG-DLL; Genereer DDL voor de Staging-area.
Genereer het DDL-script voor het implementeren van de databaseobjecten (table) voor de Staging-area van de database.
STG-ETL; Genereer ETL voor de Staging-area.
Genereer de ETL-scripts voor het laden van de brongegevens in de Staging-area van de database.
STG-DEP; Implementeer de DDL en ETL voor de Staging-area in de database.
Implementeer de gegenereerde PostgreSQL-database en Python ETL software.
STG-RUN; Voer ETL uit voor de Staging-area.
Voer de ETL uit om de data van de bron naar de Staging-area in PostgreSQL te laden met logging en fout afhandeling.

HIS-DLL; Genereer DDL voor de History-area.
Genereer het DDL-script voor het implementeren van de databaseobjecten (table en sequence) voor de History-area in de database.
HIS-ETL; Genereer ETL voor de History-area.
Genereer de ETL-scripts voor het laden van de brongegevens in de History-area in de database.
    • Leg historie vast op basis van wijzigingen op attribuutniveau.
    • Incremental update van data wijzigingen.
    • Verwijderde records logisch bijhouden;
HIS-DEP; Implementeer de DDL en ETL voor de History-area in de database.
Implementeer de gegenereerde PostgreSQL-database en ETL-python software.
HIS-RUN; Voer ETL uit voor de History-area.
Voer de ETL uit om de data van de Staging-area naar de History-area in PostgreSQL te laden met logging en fout afhandeling.