Tag Archive | veriambarı

Informatica ile Incremental Süreçlerin Yönetimi-1

 

Merhabalar,

Bir önceki yazımda Informatica nedir, nasıl ETL geliştirilir gibi konuları incelemiştik. Bu yazımda dw projelerinin vazgeçilmez unsuru olan Incremental süreçlerden bahsedeceğim. Incremental süreçler uzun bir konu olduğu için bu yazı ile tamamlamayacağız konuyu.

İlk olarak Incremental süreçler nedir, neden ihtiyaç duyarız? 

Incremental adı üstünde kademeli olarak artan süreçlerin yönetimi. Şirketlerin bazı dataları incremental, bazılarının delete insert gibi farklı yöntemlerle bir yerden başka bir yere aktarılması gerekir. Çoğu şirkette farklı business lar için bu yöntemlerin tamamı uygulanır.

Örneğin, personel bilgilerinin tutulduğu bir tablonuz olduğunu düşünelim. Personelin telefon numarası değişirse eski numarasını tutmak anlamlı olmayacağı için numarayı update yaparsınız. Personelin çalıştığı şehir değişirse, yeni şehiri insert edip, eski şehirin eski olduğuna dair flag leme yaparsınız(insert-update). Bu flag leme farklı şekillerde olabilir. Bunu yeri geldiğinde inceleyeceğiz. Her gece personel tablosunun truncate insert ile de doldurabilirsiniz. Yani kısaca yöntem seçimi sizin business anlayışınıza ve ihtiyaçlarınıza göre değişecek bir durum.

Bu yazıda Incremental süreçlerin yönetimiyle ilgileneceğiz. Incremental aktarımda veri değişse de eski veri silinmez, yeni kayıtla birlikte db imizde kayıtlı olarak durur.

Yeni ve eski kayıtları birbirinden ayırt edebilmek için farklı yöntemler kullanabilirsiniz. TYPE 2 ile ilgili kısımda açıklayacağız bu yöntemleri. Tabi burada eski veriyi nasıl tutmak istediğimiz de önemli bir nokta. Tüm history i tutmak istiyor muyuz, yoksa belli bir kısmını mı? Bu konuyu birazdan irdeleyeceğiz.

Incremental süreç yönetimi için bir kaç yöntem var. Bunlardan başlıcaları:

Reklamlar

INFORMATICA NEDIR?

Merhabalar,

Data Management kulvarının önde gelen oyuncusu Informatica yı bilmeyenler için bu yazıyı ele almayı düşündüm. Çoğu büyük şirketin Data Management işlemlerini Informatica ile birlikte yönetmesinin yanında, Gartner ın Data Integration chart ına baktığımızda Informatica en lider ürün olarak karşımıza çıkmakta. Son 3 yıldır liderliğini koruyan Informatica (son 3 yılın chart ına baktığım için böyle diyorum, daha da geri tarihlere gidip durumu görebilirsiniz) .Incelemek isteyenler şuradan erişebilir. http://optimalbi.com/blog/2016/08/16/gartner-data-integration-magic-quadrant-2016-behind-with-the-times/

Tamamını Okuyun…

Data Warehouse Yazı Dizisi-3 Lookup Komponenti

Data Warehouse Yazı dizisinin ilkinde data warehouse nedir, niçin ihtiyaç duyulur, veri ambarı ihtiyacına nasıl karar verilir gibi konulara değinmiştik.

Data Warehouse Yazı Dizisi – 2 de veri ambarı oluşturmaya karar  verdikten sonra nerden başlamalıyızdan bahsetmiştik.

Bu yazımda veri ambarı oluşturma sırasında gerçekleştirilen ETL işlemlerinde çokça kullanılan Lookup komponentinden bahsedeceğim.

Lookup ı verinin kaynaklardan okunup hedef tablolara akışı sırasında eşleşip eşleşmemesine göre işlem yaptırmak için kullanırız. Tabiki eşleşip eşleşmemeyi bir ya da daha fazla kolon üzerinden yapabiliriz.

Örneğin, satış verilerimizden oluşan bir data mart oluşturuyor olalım. Satış verilerimizi ürün, zaman boyutunda analiz ediyor olalım. Bu noktada FactSales, DimProduct, DimTime tabloları en basit anlamda ihtiyaçlarımız için yeterli olacaktır. Farklı business durumlarında örnek olarak tasarladığımız star schema durumunda çıkıp snowflake yapıda bir dw yapısı oluşturmak gerekebilir.sales-star-schema

Tamamını Okuyun…

Data Warehouse Yazı Dizisi-2

Data Warehouse yazı dizisinin ilkinde neden DW önemlidir, şirketinizi gerçekten DW ye ihtiyacı olup olmadığını anlayabilmek adına şirketleri DW oluşturmaya iten problemlerden bahsetmeye çalıştım.

Data Warehouse Yazı Dizisi-1 i aşağıdaki linkten inceleyebilirsiniz:

https://seydanursandikci.wordpress.com/2016/04/19/data-warehouse-1/

Bugün ise DW oluşturmaya karar verdikten sonra projeye nerden başalamalıyız, nasıl bir yol haritası çizmeliyizden bahsediyor olacağım.

DW Projelerine Nasıl Başlanır??

Bu sorunun cevabını adımlar halinde açıklamaya çalışacağım:

  • DW nin Cevap Vermek Zorunda Olduğu Soruları Belirleme

DW yi oluştururken kafamıza göre değil, belirli problemler, ihtiyaçlar göz önüne alıp, bunlara cevap verecek bir yapı üzerinde oluşturulur. Bunun için BUSINESS I ANLAMA, IHTIYACLARI ANALIZ ETMEK çok önemlidir. Ihtıyacları analiz ederken DW yapımız ortaya çıkaracak şekilde doğru sorular sormamız gerekir. Sorular sormadan önce mevcut var olan yapıyı işin sahibinden dinlemek ilk adım olmalı. Bu sırada sorularımızla yönlendirmek genel taslağı çıkarmak için çok önemli.

Tamamını Okuyun…

Data Warehouse Yazı Dizisi-1

Merhaba,

Veri ambarı nedir, niçin ihtiyaç duyulur, ihtiyaç duyulduğuna karar verildikten sonra nerden başlamalı, nasıl veri ambarı oluşturulur gibi temel soruları cevaplamaya yönelik bir yazı dizisi oluşturma niyetindeyim. Öncelikle bu temel soruları açıklamaya çalışacağım. Sonrasında veri ambarı oluştururken sıklıkla kullandığımız ssis task larından bahsetmeyi hedefliyorum. Rota bu şekilde ama sizlerin yönlendirmeleriyle de rüzgara yön verebiliriz.

Veri ambarı, dağıtık halde farklı sistemlerde bulunan, tutarsız, hatalı, duplicate haldeki verileri, raporlama ve analiz ihtiyaçlarını baz alarak, bunlara yönelik bir yapı haline getirerek (dimensional yapı) oluşturduğumuz merkezi bir sistemdir.

Peki DW ye neden ihtiyaç duyarız? Belli analiz ve raporlama ihtiyaçlarına mevcut sistemin cevap verememesi gibi problemlere data warehouse ile çözüm sunabilmekteyiz.

Bizleri DW oluşturmaya iten bu problemleri ve DW nin bunlara sunacağı çözümleri biraz daha ayrıntılandırmak gerekirse: Tamamını Okuyun…

PowerBı da Json Verisinin Raporlanması

Merhaba,

Bu yazımda json verisini PowerBI aracı ile raporlamasının nasıl yapılabildiğinden bahsedecğeim

Json verisini raporlarken karşımıza iki seçenek çıkmakta. Ya bir veritabanı gibi bir ortama json verimizi yükleyip, daha sonra PowerBI dan connect olup raporlayacağız, ya da doğrudan json dosyasına bağlanacağız.

PowerBı Desktop, aracıyla raporumuzu oluştururken ilk adımımız raporlamak istediğimiz veri setine bağlanmak olacak. Bunun için üst segmedeki Veri Al seçeneğini seçiyoruz.

Karşımıza verileri alabileceğimiz platformlar gelmekte.

a1

Veriyi alabileceğimiz platformları inceledeğimizde json diye bir seçenek görememekteyiz. Ama json veritipini yükleyip daha sonra bağlantı oluşturarak veriyi çekebileceğimiz Azure Document DB gibi ortamlar bulunmakta. Şu an Beta sürümünde olduğunu belirtmekte fayda var. Tamamını Okuyun…