Parameters In Informatica
Merhabalar,
Bu yazımda Informatica da parametre kullanımından bahsedeceğim. Öncelikle Informatica dan bağımsız olarak Parametre nedir, neden kullanırız, Informatica da Parametre nasıl oluşturulmakta gibi konulara değineceğim.
Günümüzde, iş birimlerinin proseslerinin karmaşıklığı nedeniyle ortaya çıkan mimarilerde karmaşık yapılarla oluşturulmakta. Özellikle DW tasarımlarını göz önüne alırsak, oldukça Enterprise logic lar ortaya çıkmakta. Konu bankacılık, Telco olursa mimarilerin karmaşıklığı daha da artmakta.
Karmaşıklık, logic lerin zorluğunun yanı sıra günümüzde değişen koşullara ayak uydurmak zorundayız. Business logic imizi bu değişen koşullar basit de olsa implemente etmek oldukça uzun süreler alabilmekte. Bu değişiklikleri kısa sürede yapmak, yeni ihtiyaçlara cevap verebilmek için logic imizin oldukça flexible olması gerekmekte. Özellikle bahsetmiş olduğumuz karmaşık business larda, flexible lık daha da önem kazanmakta, çünkü bir değişiklik yapmak istediğimizde çok karışık noktalara gelinebilmekte. Amaç, tek bir yerde küçük bir değişiklik yapmakken, birden fazla yere elimizi değdirmemiz gerekmekte ki başarılı bir sonuca ulaşmak hem zorlaşmak, hem da olması gerekenden fazla vakit alabilmekte.
Oysaki amacımız bizlerin daha verimli çalışması daha verimli sonuçlar ortaya koyması, işi daha az eforla yaparak, hem bizlerin hem de iş biriminin mutlu olması diyebiliriz. Bu nedenle Data Integration konusunda değişen koşullara ayak uydurabilmek amacıyla Parametre kullanımı bizler için vazgeçilmezler arasında. Tamamını Okuyun…
Informatica Incremental Süreçlerin Yönetimi-2 (SCD Type-2 Version Column)
Merhabalar,
Önceki yazılarımda Informatica nedir, Informatica ile ETL nasıl geliştirilir gibi konulara değinmiştik. Sonrasında veri ambarı projelerinin vazgeçilmez unsuru olan Incremental sürecin ne olduğundan, Slowly Changin Dimension ın bu süreçlerde nasıl kullanıldığında, SCD type larından bahsetmiştik. SCD Type-1 ve Type-2 ile ilgili demo çalışmaları yapmıştık.
Bu yazımda Type-2 yi uygularken kullandığımız diğer bir yöntem olan Version Column yöntemini inceleyeceğiz.
Yapacaklarımızı kısaca özetlemek gerekirse, ilgili employee nin city bilgisi değiştiğinde her seferinde Flag imizi 1 artıracağız. Böylece max(Current_Flag_Number) a sahip satırlar en güncel verimiz olmuş olacak.
m_Load_TRG_Employee_Version_Number adında mapping oluşturuyorum.
Target tablomuzu bu örnek için kendimiz oluşturalım. Target Designer ekranına gelip, üst panelden Target >> Create diyoruz. TRG_Employee_Version olarak isimlendiriyorum target tablomu. Örneğimde, Oracle ı kullanacağım için Database type olarak Oracle seçiyorum. SQL kurulu ise makinenizde Microsoft SQL Server ı seçebilirsiniz.. Tamamını Okuyun…
Informatica Ile Incremental Süreçlerin Yönetimi-2 (SCD Type-2 Current Flag Column)
Merhabalar,
Önceki yazımda Incremental süreç nedir, nasıl bir ihtiyaç sonucu uygulamaya başlarız, SCD Type ların dan ve en son olarak da SCD Type-1 ile ilgili bir örnek yapmıştık.
Bu yazı ile SCD Type -2 yi incelemeye devam edeceğiz.
Öncelikle Type-2 yi ne gibi ihtiyaçlar doğrultusunda kullanmalıyızı konuşalım. Verinin değişim historisi sizler için önemli ise Type-2 sizler için uygun diyebiliriz. Yani veri güncellense de yeni hali ile birlikte eski halini daha doğrusu hallerini tutmak gibi ihtiyaçlarınıza bu yöntemle birlikte cevap verebilirsiniz.
Type-2 yi farklı yöntemlerle uygulayabilirsiniz. Bunlar:
- Current Flag Column: Bu yöntemi uygularken tabloda verinin en son güncellenen halinin hangi satır olduğunu anlamak için Flag lemek için yani Flag kolonuna ihtiyacımız bulunmakta. Veri güncelse 1, değilse yani eski veri ise 0 olarak flag leriz. Böylece güncel dataları bulmak istediğimizde where CurrentFlag=1 dememiz yeterli olacaktır. İlgili kayıdın tüm eski versiyonlarında Flag=0 olacaktır.
- Version Number Column: Bu yöntem, flag lemekle hemen hemen aynı. Tek fark version numarası 1 artarak devam eder. Yani initial load da version number ı 1 olarak insert edip, veri güncellenirse 2, tekrar güncellenirse 3 olarak devam edecektir. Versiyon numarası veri değiştikçe artarak devam edecektir.
- Date Range Columns(StartDate-EndDate): Bu yöntemde verinin geçerli olduğu tarih aralığı tutulur. Yukarıdaki yöntemlerle aynı amaç doğrultusunda yani verinin full history sini tutmak için bu yöntem uygulanabilir. Tek fark verinin değişimi ile ilgili daha ayrıntılı bilgi tutmuş oluyoruz. Tamamını Okuyun…
Informatica ile Incremental Süreçlerin Yönetimi-1
Merhabalar,
Bir önceki yazımda Informatica nedir, nasıl ETL geliştirilir gibi konuları incelemiştik. Bu yazımda dw projelerinin vazgeçilmez unsuru olan Incremental süreçlerden bahsedeceğim. Incremental süreçler uzun bir konu olduğu için bu yazı ile tamamlamayacağız konuyu.
İlk olarak Incremental süreçler nedir, neden ihtiyaç duyarız?
Incremental adı üstünde kademeli olarak artan süreçlerin yönetimi. Şirketlerin bazı dataları incremental, bazılarının delete insert gibi farklı yöntemlerle bir yerden başka bir yere aktarılması gerekir. Çoğu şirkette farklı business lar için bu yöntemlerin tamamı uygulanır.
Örneğin, personel bilgilerinin tutulduğu bir tablonuz olduğunu düşünelim. Personelin telefon numarası değişirse eski numarasını tutmak anlamlı olmayacağı için numarayı update yaparsınız. Personelin çalıştığı şehir değişirse, yeni şehiri insert edip, eski şehirin eski olduğuna dair flag leme yaparsınız(insert-update). Bu flag leme farklı şekillerde olabilir. Bunu yeri geldiğinde inceleyeceğiz. Her gece personel tablosunun truncate insert ile de doldurabilirsiniz. Yani kısaca yöntem seçimi sizin business anlayışınıza ve ihtiyaçlarınıza göre değişecek bir durum.
Bu yazıda Incremental süreçlerin yönetimiyle ilgileneceğiz. Incremental aktarımda veri değişse de eski veri silinmez, yeni kayıtla birlikte db imizde kayıtlı olarak durur.
Yeni ve eski kayıtları birbirinden ayırt edebilmek için farklı yöntemler kullanabilirsiniz. TYPE 2 ile ilgili kısımda açıklayacağız bu yöntemleri. Tabi burada eski veriyi nasıl tutmak istediğimiz de önemli bir nokta. Tüm history i tutmak istiyor muyuz, yoksa belli bir kısmını mı? Bu konuyu birazdan irdeleyeceğiz.
Incremental süreç yönetimi için bir kaç yöntem var. Bunlardan başlıcaları:
- SCD(Slowly Changing Dimension)
- CDC(Change Data Capture) Tamamını Okuyun…
INFORMATICA NEDIR?
Merhabalar,
Data Management kulvarının önde gelen oyuncusu Informatica yı bilmeyenler için bu yazıyı ele almayı düşündüm. Çoğu büyük şirketin Data Management işlemlerini Informatica ile birlikte yönetmesinin yanında, Gartner ın Data Integration chart ına baktığımızda Informatica en lider ürün olarak karşımıza çıkmakta. Son 3 yıldır liderliğini koruyan Informatica (son 3 yılın chart ına baktığım için böyle diyorum, daha da geri tarihlere gidip durumu görebilirsiniz) .Incelemek isteyenler şuradan erişebilir. http://optimalbi.com/blog/2016/08/16/gartner-data-integration-magic-quadrant-2016-behind-with-the-times/
Son Yorumlar