Tag Archive | veri

Informatica ile Incremental Süreçlerin Yönetimi-1

 

Merhabalar,

Bir önceki yazımda Informatica nedir, nasıl ETL geliştirilir gibi konuları incelemiştik. Bu yazımda dw projelerinin vazgeçilmez unsuru olan Incremental süreçlerden bahsedeceğim. Incremental süreçler uzun bir konu olduğu için bu yazı ile tamamlamayacağız konuyu.

İlk olarak Incremental süreçler nedir, neden ihtiyaç duyarız? 

Incremental adı üstünde kademeli olarak artan süreçlerin yönetimi. Şirketlerin bazı dataları incremental, bazılarının delete insert gibi farklı yöntemlerle bir yerden başka bir yere aktarılması gerekir. Çoğu şirkette farklı business lar için bu yöntemlerin tamamı uygulanır.

Örneğin, personel bilgilerinin tutulduğu bir tablonuz olduğunu düşünelim. Personelin telefon numarası değişirse eski numarasını tutmak anlamlı olmayacağı için numarayı update yaparsınız. Personelin çalıştığı şehir değişirse, yeni şehiri insert edip, eski şehirin eski olduğuna dair flag leme yaparsınız(insert-update). Bu flag leme farklı şekillerde olabilir. Bunu yeri geldiğinde inceleyeceğiz. Her gece personel tablosunun truncate insert ile de doldurabilirsiniz. Yani kısaca yöntem seçimi sizin business anlayışınıza ve ihtiyaçlarınıza göre değişecek bir durum.

Bu yazıda Incremental süreçlerin yönetimiyle ilgileneceğiz. Incremental aktarımda veri değişse de eski veri silinmez, yeni kayıtla birlikte db imizde kayıtlı olarak durur.

Yeni ve eski kayıtları birbirinden ayırt edebilmek için farklı yöntemler kullanabilirsiniz. TYPE 2 ile ilgili kısımda açıklayacağız bu yöntemleri. Tabi burada eski veriyi nasıl tutmak istediğimiz de önemli bir nokta. Tüm history i tutmak istiyor muyuz, yoksa belli bir kısmını mı? Bu konuyu birazdan irdeleyeceğiz.

Incremental süreç yönetimi için bir kaç yöntem var. Bunlardan başlıcaları:

DATA QUALITY SERVICES

Merhaba,

Açılımı Data Quality Services olan DQS tool u nedir, niçin kullanıyoruzu inceliyor olacağız bu yazımda.

SQL Server 2012 ile gelen bu özellik tabiri caizse yanlış, tutarsız, duplice verileri istediğimiz forma dönüştürmemize yardım eden bir tool dur.

DQS veriyi daha tutarlı, doğru bir hale gitirmek için kullanılan yani veri temizliği yaptığımız bir tool dur. Peki bizim için önemi nedir diye düşünürsek:

Şirketlerin tüm karar mekanizlarını etkileyen, analiz, raporlarının kaynağı olan veri yanlış olduğu anda tüm kararlar yanlış olacaktır.

Bir yerde okumuştum  “Veri petrol gibidir, işlenmedikçe kullanılmaz” gibi bir söz -Orjinali daha güzeldi tabi- aslında DQS in önemini ortaya koymakta. Elimizde veri var, zaten veri azlığı gibi bir problemle karşılaşmamaktayız günümüzde aksine veri fazlalığı ve bu fazla verinin içinden çıkamamak gibi  bir durum söz konusu. Dolayısıyla, veri çok farklı platformlarda, birbirinden farklı formatlarda tutulmakta. Bunun önüne geçebilmek hayati derecede önemli.

Çok fazla verinin tutarsız olduğu, duplicate verilerin olduğu bir veri kümesinden analiz, raporlama yapmaya çalıştığımızda sonuçların bizleri ne kadar yanlış yerlere götürebileceğini düşünmek bile istemeyiz. Hatta öyleki verdiğimiz yanlış kararlarla şirketimizi yanlış yerlere dahi götürebiliriz.

Yanlış, tutarsız veri= yanlış şirket stratejisi, yanlış kararlar, yanlış analiz…..

Tamamını Okuyun…