ETL
ETL; çıkarma, dönüştürme ve yükleme sırasını anlatır. Veri kaynaktan okunur, analiz deposuna yüklenmeden önce dönüştürülür.
ETL ne anlama gelir?
ETL, Extract, Transform, Load ifadesinin kısaltmasıdır: veriyi kaynaktan okumak, tanımlanmış kurallarla dönüştürmek ve ardından hedef depoya yüklemek. Analiz için örneğin birimler ortaklaştırılır, alanlar eşlenir veya hatalı kayıtlar ayrılır. Belirleyici olan sıradır: dönüşüm, veriler belirlenen analiz deposuna yüklenmeden önce yapılır.
Kurgusal bir yazılım projesinde arka plan görevi, çalışma süresini {"durationMs":90000} olarak verir. Planlanan ETL adımı milisaniyeyi saniyeye çevirir: 90000 / 1000 = 90. Ancak bundan sonra {"durationSeconds":90} analiz deposuna yüklenir. Alan adları ve sayılar açıklayıcı örnektir; gerçek veri akışı çalıştırılmış veya hız ölçülmüş değildir.
ELT'de ham veriler önce hedef depoya alınır, sonra orada dönüştürülür. ETL ise hazırlığı yüklemeden önce yapar. Uygun seçenek, hedef sistem ve gereken analizler gibi etkenlere bağlıdır; harflerin sırası tek başına maliyet veya performans üstünlüğü göstermez.
Kaynaklar
İlgili terimler
- ELTELT; çıkarma, yükleme ve dönüştürme sırasını anlatır. Ham veriler önce hedef depoya alınır, gereken analizler için orada dönüştürülür.
- Veri eşlemeVeri eşleme, kaynak verinin hedef yapıya nasıl aktarılacağını belirler. Alan adlarının yanında anlam, birim ve hata durumları da uyumlu olmalıdır.
- Sistem entegrasyonuSistem entegrasyonu uygulamaları, verileri ve iş adımlarını bağlar. Bağlantının yanında kimliklerin, alan anlamlarının ve işlem sonuçlarının da uyuşması gerekir.
- Transactional InboxTransactional inbox, tekrar teslim edilen mesajların yerel işlemi yinelemesini önlemek için kalıcı mesaj kayıtları kullanır.
- Mesaj onayıMesaj onayı, bir teslimatın belirlenen kurala göre alındığını veya işlendiğini mesaj aracısına bildirir.
- Yeniden denemede rastgele gecikmeRetry jitter, bekleme sürelerini rastgele değiştirerek birçok istemcinin aynı anda yeniden istek göndermesini azaltır.
Bu konudaki yazılar
ASES ile API ve entegrasyon
ERP, CRM ve mağaza sorunsuz bağlantılı