ETL Boru Hatları için SSIS Çerçevesi

Bağlam

LC Waikiki’nin veri ambarı birkaç katmandan oluşuyor ve SSIS (SQL Server Integration Services) boru hatlarıyla yükleniyor.

Rol: Çerçevenin geliştirilmesi (Kıdemli İş Zekâsı Geliştiricisi).

Problem

Her boru hattının ihtiyacı aynı: doğru sırada çalışmak, hataları yönetmek, bir arızadan sonra yeniden başlayabilmek ve bir şey bozulduğunda haber vermek. Ortak bir çerçeve olmadan her boru hattı bunları kendi başına çözmek zorunda kalır.

Yaklaşım

Yeniden kullanılabilir, metadata güdümlü bir ETL çerçevesi:

• Bağımlılık takibi: Boru hatları doğru sırada çalışır.
• Hata yönetimi ve yeniden başlatılabilirlik: Başarısız bir çalıştırma en baştan başlamadan devam edebilir.
• Önceliklendirme: Acil işler öne alınabilir.
• Operasyonel metadata: Çalıştırma bilgileri kaydedilir.
• Otomatik uyarılar: Hatalar bildirilir.

Mimari ve teknoloji

SQL Server üzerinde SSIS. Boru hattının davranışı her pakete gömülmek yerine metadata’da tanımlanır; çerçeve ambarın tüm katmanlarını kapsar.

Sonuç

• 80+ boru hattında kullanıldı.
• Çok katmanlı ambar genelinde veri tutarlılığı.

Öğrenimler

• Buradaki ölçü yeniden kullanım: 80+ boru hattı tek bir çerçeve üzerinde çalıştığı için bağımlılık takibi, yeniden başlatılabilirlik ve uyarı her birine hazır geliyor.
• Metadata güdümlü yaklaşım sonraki işlerde de sürdü: 2014–2017’de 80+ SSIS işi artımlı ve metadata güdümlü yüklemelere dönüştürüldü; batch penceresi 7 saatten 2 saatin altına indi.