Tag Archive | informatica kurulum

Informatica da Temp Tablo ile Performans Artırma

 

Merhabalar,

Bu yazımda Informatica ile data aktarımı sırasında performans kazancı elde etmek amacıyla sıkça başvurulan yöntemlerden biri olan Temp tablo ile veri aktarımını anlatacağım.

Temp tablo denildiğinde DB lerde kullandığımız geçici tablolar aklımıza gelse de burada kullandığımız anlamı farklı olarak karşımıza gelmekte. Source tan target a veri aktarımı sırasında Lookup, Join gibi işlemlerle data kontrolü yaparak veriyi insert, update işlemleri yaptığımız için veri büyüdükçe bu işlem daha uzun sürelerde, daha performanssız bir şekilde gerçekleştirilebilmekte. Bu nedenle bir tabloda(temp) source tan okuduğumuz verinin yeni bir kayıt mı yani insert, target ta bulunan bir kayıt mı yani update mi yapılacağını belirtmek adına her satırı işaretleyoruz. Yani Temp tablo fiziksel olarak target ın birebir aynısı, -bazı durumlarda ekstra kolon eklenebilir- olarak oluşturulur. Daha sonra Temp tablodan okuduğumuz dataları doğrudan target tabloya gerekli işlemleri yaparak aktarıyoruz. Böylece milyonluk tabloları update ederken bulk şekilde insert, update yaptığımız için daha performanslı bir şekilde bu işlemlerimizi yapabilemekteyiz. Tamamını Okuyun…

Informatica Incremental Süreçlerin Yönetimi-2 (SCD Type-2 Version Column)

Merhabalar,

Önceki yazılarımda Informatica nedir, Informatica ile ETL nasıl geliştirilir gibi konulara değinmiştik. Sonrasında veri ambarı projelerinin vazgeçilmez unsuru olan Incremental sürecin ne olduğundan, Slowly Changin Dimension ın bu süreçlerde nasıl kullanıldığında, SCD type larından bahsetmiştik. SCD Type-1 ve Type-2 ile ilgili demo çalışmaları yapmıştık.

Bu yazımda Type-2 yi uygularken kullandığımız diğer bir yöntem olan Version Column yöntemini inceleyeceğiz.

Yapacaklarımızı kısaca özetlemek gerekirse, ilgili employee nin city bilgisi değiştiğinde her seferinde Flag imizi 1 artıracağız. Böylece max(Current_Flag_Number) a sahip satırlar en güncel verimiz olmuş olacak.

m_Load_TRG_Employee_Version_Number adında mapping oluşturuyorum.

Target tablomuzu bu örnek için kendimiz oluşturalım. Target Designer ekranına gelip, üst panelden Target >> Create diyoruz. TRG_Employee_Version olarak isimlendiriyorum target tablomu. Örneğimde, Oracle ı kullanacağım için Database type olarak Oracle seçiyorum. SQL kurulu ise makinenizde Microsoft SQL Server ı seçebilirsiniz.. Tamamını Okuyun…