Informatica Incremental Süreçlerin Yönetimi-2 (SCD Type-2 Version Column)
Merhabalar,
Önceki yazılarımda Informatica nedir, Informatica ile ETL nasıl geliştirilir gibi konulara değinmiştik. Sonrasında veri ambarı projelerinin vazgeçilmez unsuru olan Incremental sürecin ne olduğundan, Slowly Changin Dimension ın bu süreçlerde nasıl kullanıldığında, SCD type larından bahsetmiştik. SCD Type-1 ve Type-2 ile ilgili demo çalışmaları yapmıştık.
Bu yazımda Type-2 yi uygularken kullandığımız diğer bir yöntem olan Version Column yöntemini inceleyeceğiz.
Yapacaklarımızı kısaca özetlemek gerekirse, ilgili employee nin city bilgisi değiştiğinde her seferinde Flag imizi 1 artıracağız. Böylece max(Current_Flag_Number) a sahip satırlar en güncel verimiz olmuş olacak.
m_Load_TRG_Employee_Version_Number adında mapping oluşturuyorum.
Target tablomuzu bu örnek için kendimiz oluşturalım. Target Designer ekranına gelip, üst panelden Target >> Create diyoruz. TRG_Employee_Version olarak isimlendiriyorum target tablomu. Örneğimde, Oracle ı kullanacağım için Database type olarak Oracle seçiyorum. SQL kurulu ise makinenizde Microsoft SQL Server ı seçebilirsiniz.. Tamamını Okuyun…
Informatica Ile Incremental Süreçlerin Yönetimi-2 (SCD Type-2 Current Flag Column)
Merhabalar,
Önceki yazımda Incremental süreç nedir, nasıl bir ihtiyaç sonucu uygulamaya başlarız, SCD Type ların dan ve en son olarak da SCD Type-1 ile ilgili bir örnek yapmıştık.
Bu yazı ile SCD Type -2 yi incelemeye devam edeceğiz.
Öncelikle Type-2 yi ne gibi ihtiyaçlar doğrultusunda kullanmalıyızı konuşalım. Verinin değişim historisi sizler için önemli ise Type-2 sizler için uygun diyebiliriz. Yani veri güncellense de yeni hali ile birlikte eski halini daha doğrusu hallerini tutmak gibi ihtiyaçlarınıza bu yöntemle birlikte cevap verebilirsiniz.
Type-2 yi farklı yöntemlerle uygulayabilirsiniz. Bunlar:
- Current Flag Column: Bu yöntemi uygularken tabloda verinin en son güncellenen halinin hangi satır olduğunu anlamak için Flag lemek için yani Flag kolonuna ihtiyacımız bulunmakta. Veri güncelse 1, değilse yani eski veri ise 0 olarak flag leriz. Böylece güncel dataları bulmak istediğimizde where CurrentFlag=1 dememiz yeterli olacaktır. İlgili kayıdın tüm eski versiyonlarında Flag=0 olacaktır.
- Version Number Column: Bu yöntem, flag lemekle hemen hemen aynı. Tek fark version numarası 1 artarak devam eder. Yani initial load da version number ı 1 olarak insert edip, veri güncellenirse 2, tekrar güncellenirse 3 olarak devam edecektir. Versiyon numarası veri değiştikçe artarak devam edecektir.
- Date Range Columns(StartDate-EndDate): Bu yöntemde verinin geçerli olduğu tarih aralığı tutulur. Yukarıdaki yöntemlerle aynı amaç doğrultusunda yani verinin full history sini tutmak için bu yöntem uygulanabilir. Tek fark verinin değişimi ile ilgili daha ayrıntılı bilgi tutmuş oluyoruz. Tamamını Okuyun…
INFORMATICA NEDIR?
Merhabalar,
Data Management kulvarının önde gelen oyuncusu Informatica yı bilmeyenler için bu yazıyı ele almayı düşündüm. Çoğu büyük şirketin Data Management işlemlerini Informatica ile birlikte yönetmesinin yanında, Gartner ın Data Integration chart ına baktığımızda Informatica en lider ürün olarak karşımıza çıkmakta. Son 3 yıldır liderliğini koruyan Informatica (son 3 yılın chart ına baktığım için böyle diyorum, daha da geri tarihlere gidip durumu görebilirsiniz) .Incelemek isteyenler şuradan erişebilir. http://optimalbi.com/blog/2016/08/16/gartner-data-integration-magic-quadrant-2016-behind-with-the-times/
Power BI da Harita Kullanımı
Merhabalar,
HARITA lar birçok şirketin rapor ve dashboard larının vazgeçilmez unsurudur. Power BI kullanıcıları birkaç farklı şekilde lokasyon bilgilerini haritalar üzerinde görsel bir şekilde görüntüleyebilmekte.
Bu yazımda Power BI kullananlar için farklı harita çeşitlerinden bahsediyor olacağım.
Öncelikle Power BI da kullanabileceğimiz bütün haritalar doğrudan karşımıza gelmemekte. Preview da olan haritaları etkinleştirebilmek için File > Options and Setting > Options > Preview Features tan ArcGIS ve Shape Map özelliklerini seçelim. Sonrasında Power BI desktop ı kapatıp açmamız gerekmekte.
Açtığımızda görseller kısmında iki farklı map seçeneğinin eklenmiş olduğunu görmekteyiz: Shape Map ve ArcGIS Map
Data Warehouse Yazı Dizisi-3 Lookup Komponenti
Data Warehouse Yazı dizisinin ilkinde data warehouse nedir, niçin ihtiyaç duyulur, veri ambarı ihtiyacına nasıl karar verilir gibi konulara değinmiştik.
Data Warehouse Yazı Dizisi – 2 de veri ambarı oluşturmaya karar verdikten sonra nerden başlamalıyızdan bahsetmiştik.
Bu yazımda veri ambarı oluşturma sırasında gerçekleştirilen ETL işlemlerinde çokça kullanılan Lookup komponentinden bahsedeceğim.
Lookup ı verinin kaynaklardan okunup hedef tablolara akışı sırasında eşleşip eşleşmemesine göre işlem yaptırmak için kullanırız. Tabiki eşleşip eşleşmemeyi bir ya da daha fazla kolon üzerinden yapabiliriz.
Örneğin, satış verilerimizden oluşan bir data mart oluşturuyor olalım. Satış verilerimizi ürün, zaman boyutunda analiz ediyor olalım. Bu noktada FactSales, DimProduct, DimTime tabloları en basit anlamda ihtiyaçlarımız için yeterli olacaktır. Farklı business durumlarında örnek olarak tasarladığımız star schema durumunda çıkıp snowflake yapıda bir dw yapısı oluşturmak gerekebilir.
Introduction to Mobile Report Publisher
Merhabalar,
Bildiğiniz üzere 1 Haziran 2016 tarihi ile birlikte SQL Server 2016 release oldu. 2016 ile birlikte SSRS e bir çok özellik eklenmesiyle birlikte en çok heyecanlandıran kısım sanırım MOBILE taraftaki gelişmeler oldu. Bu gelişmelerden bahsetmeye çalışacağım bu yazımda.
Hikayeye biraz daha geçmişten başlayalım. 2015 Nisan ayında Mobile platformlardaki güçlü yönüyle ön plana çıkan Datazen ürününü satın aldı. Ürün ciddi anlamda Dashboard oluşturmaya odaklı, tüm mobile platformlarda responsive olarak çalışabilen 1-2 günlük çalışmanın sonrasında kolaylıkla dashboard lar oluşturabildiğimiz bir araç olarak hayatımıza girdi. Tam anlamıyla dashboard odaklı bir ürün diyebiliriz çünkü neredeyse hiçbir şekilde transform işlemi yapılamamakta. Yani veriyi aldığınız platformda veriyi hazırlamanız gerekmekte. Ürünle ilgili detaylara şu makalelerimden ulaşabilirsiniz:
Data Warehouse Yazı Dizisi-2
Data Warehouse yazı dizisinin ilkinde neden DW önemlidir, şirketinizi gerçekten DW ye ihtiyacı olup olmadığını anlayabilmek adına şirketleri DW oluşturmaya iten problemlerden bahsetmeye çalıştım.
Data Warehouse Yazı Dizisi-1 i aşağıdaki linkten inceleyebilirsiniz:
https://seydanursandikci.wordpress.com/2016/04/19/data-warehouse-1/
Bugün ise DW oluşturmaya karar verdikten sonra projeye nerden başalamalıyız, nasıl bir yol haritası çizmeliyizden bahsediyor olacağım.
DW Projelerine Nasıl Başlanır??
Bu sorunun cevabını adımlar halinde açıklamaya çalışacağım:
- DW nin Cevap Vermek Zorunda Olduğu Soruları Belirleme
DW yi oluştururken kafamıza göre değil, belirli problemler, ihtiyaçlar göz önüne alıp, bunlara cevap verecek bir yapı üzerinde oluşturulur. Bunun için BUSINESS I ANLAMA, IHTIYACLARI ANALIZ ETMEK çok önemlidir. Ihtıyacları analiz ederken DW yapımız ortaya çıkaracak şekilde doğru sorular sormamız gerekir. Sorular sormadan önce mevcut var olan yapıyı işin sahibinden dinlemek ilk adım olmalı. Bu sırada sorularımızla yönlendirmek genel taslağı çıkarmak için çok önemli.
Data Warehouse Yazı Dizisi-1
Merhaba,
Veri ambarı nedir, niçin ihtiyaç duyulur, ihtiyaç duyulduğuna karar verildikten sonra nerden başlamalı, nasıl veri ambarı oluşturulur gibi temel soruları cevaplamaya yönelik bir yazı dizisi oluşturma niyetindeyim. Öncelikle bu temel soruları açıklamaya çalışacağım. Sonrasında veri ambarı oluştururken sıklıkla kullandığımız ssis task larından bahsetmeyi hedefliyorum. Rota bu şekilde ama sizlerin yönlendirmeleriyle de rüzgara yön verebiliriz.
Veri ambarı, dağıtık halde farklı sistemlerde bulunan, tutarsız, hatalı, duplicate haldeki verileri, raporlama ve analiz ihtiyaçlarını baz alarak, bunlara yönelik bir yapı haline getirerek (dimensional yapı) oluşturduğumuz merkezi bir sistemdir.
Peki DW ye neden ihtiyaç duyarız? Belli analiz ve raporlama ihtiyaçlarına mevcut sistemin cevap verememesi gibi problemlere data warehouse ile çözüm sunabilmekteyiz.
Bizleri DW oluşturmaya iten bu problemleri ve DW nin bunlara sunacağı çözümleri biraz daha ayrıntılandırmak gerekirse: Tamamını Okuyun…
PowerBI Ocak 2016 Yenilikleri
Merhabalar,
PowerBı ürününü kullananların aşina olduğu üzere, her ay PowerBI ürünü için birçok güncelleme yayınlanmakta. 2016 yılının güncellemelerinden bazılarını sizlerle paylaşıyorum.
1.Görsel Ögelerin Datasının Export Edilmesi
Powerbi raporlarını oluştururken birçok görsel bileşen kullanıyoruz. Bu bileşenlerde kullanılan veri setinin export edilmesi istenen bir şeydi. Artık mümkün hale geldi.
Powerbi.com sitesine giriş yapıyoruz.
Son Yorumlar