ETL
ETL står for Extract, Transform, Load: Data hentes fra en kilde, omformes før innlasting og overføres deretter til analyselageret.
Hva betyr ETL?
ETL står for Extract, Transform, Load: å hente data fra en kilde, omforme dem etter fastsatte regler og deretter laste dem inn i et mållager. Før analyse kan man for eksempel standardisere enheter, koble felter sammen eller skille ut feilaktige poster. Rekkefølgen er avgjørende: Omformingen skjer før innlasting i det tiltenkte analyselageret.
I et fiktivt programvareprosjekt oppgir en bakgrunnsjobb kjøretiden som {"durationMs":90000}. Det planlagte ETL-trinnet regner om millisekunder til sekunder: 90000 / 1000 = 90. Først deretter lastes {"durationSeconds":90} inn i analyselageret. Feltnavn og tall er illustrative; ingen databehandling er kjørt og ingen hastighet er målt.
Ved ELT ville rådata først bli lastet inn i mållageret og omformet der. ETL plasserer klargjøringen før denne innlastingen. Hvilken variant som passer, avhenger blant annet av målsystemet og analysene som trengs; bokstavrekkefølgen alene viser ingen kostnads- eller ytelsesfordel.
Kilder
Beslektede begreper
- ELTELT står for Extract, Load, Transform: Rådata lastes først inn i mållageret og omformes deretter der for analysene som trengs.
- DatatilordningDatatilordning angir hvordan kildedata overføres til en målstruktur. Både feltnavn, betydning, enheter og feilhåndtering må passe.
- SystemintegrasjonSystemintegrasjon kobler programmer, data og arbeidstrinn. I tillegg til grensesnitt må identifikatorer, feltbetydninger og resultater passe sammen.
- Transaksjonell inboxEn transaksjonell inbox bruker varige meldingsregistreringer for å beskytte lokal behandling mot doble leveringer.
- MeldingskvitteringEn meldingskvittering forteller meldingsmegleren at en levering er mottatt eller behandlet etter den avtalte regelen.
- Jitter ved nye forsøkRetry-jitter varierer ventetider tilfeldig for å spre nye forsøk og redusere samtidige forespørsler fra mange klienter.
Artikler om temaet
API-er og integrasjon med ASES
ERP, CRM og nettbutikk ryddig koblet sammen