Tag Archive | informatica power center

Informatica da Temp Tablo ile Performans Artırma

 

Merhabalar,

Bu yazımda Informatica ile data aktarımı sırasında performans kazancı elde etmek amacıyla sıkça başvurulan yöntemlerden biri olan Temp tablo ile veri aktarımını anlatacağım.

Temp tablo denildiğinde DB lerde kullandığımız geçici tablolar aklımıza gelse de burada kullandığımız anlamı farklı olarak karşımıza gelmekte. Source tan target a veri aktarımı sırasında Lookup, Join gibi işlemlerle data kontrolü yaparak veriyi insert, update işlemleri yaptığımız için veri büyüdükçe bu işlem daha uzun sürelerde, daha performanssız bir şekilde gerçekleştirilebilmekte. Bu nedenle bir tabloda(temp) source tan okuduğumuz verinin yeni bir kayıt mı yani insert, target ta bulunan bir kayıt mı yani update mi yapılacağını belirtmek adına her satırı işaretleyoruz. Yani Temp tablo fiziksel olarak target ın birebir aynısı, -bazı durumlarda ekstra kolon eklenebilir- olarak oluşturulur. Daha sonra Temp tablodan okuduğumuz dataları doğrudan target tabloya gerekli işlemleri yaparak aktarıyoruz. Böylece milyonluk tabloları update ederken bulk şekilde insert, update yaptığımız için daha performanslı bir şekilde bu işlemlerimizi yapabilemekteyiz. Tamamını Okuyun…

Parameters In Informatica

Merhabalar,

Bu yazımda Informatica da parametre kullanımından bahsedeceğim. Öncelikle Informatica dan bağımsız olarak Parametre nedir, neden kullanırız, Informatica da Parametre nasıl oluşturulmakta gibi konulara değineceğim.

Günümüzde, iş birimlerinin proseslerinin karmaşıklığı nedeniyle ortaya çıkan mimarilerde karmaşık yapılarla oluşturulmakta. Özellikle DW tasarımlarını göz önüne alırsak, oldukça Enterprise logic lar ortaya çıkmakta. Konu bankacılık, Telco olursa mimarilerin karmaşıklığı daha da artmakta.

Karmaşıklık, logic lerin zorluğunun yanı sıra günümüzde değişen koşullara ayak uydurmak zorundayız. Business logic imizi bu değişen koşullar basit de olsa implemente etmek oldukça uzun süreler alabilmekte. Bu değişiklikleri kısa sürede yapmak, yeni ihtiyaçlara cevap verebilmek  için logic imizin oldukça flexible olması gerekmekte. Özellikle bahsetmiş olduğumuz karmaşık business larda, flexible lık daha da önem kazanmakta, çünkü bir değişiklik yapmak istediğimizde çok karışık noktalara gelinebilmekte. Amaç, tek bir yerde küçük bir değişiklik yapmakken, birden fazla yere elimizi değdirmemiz gerekmekte ki başarılı bir sonuca ulaşmak hem zorlaşmak, hem da olması gerekenden fazla vakit alabilmekte.

Oysaki amacımız bizlerin daha verimli çalışması daha verimli sonuçlar ortaya koyması, işi daha az eforla yaparak, hem bizlerin hem de iş biriminin mutlu olması diyebiliriz. Bu nedenle Data Integration konusunda değişen koşullara ayak uydurabilmek amacıyla Parametre kullanımı bizler için vazgeçilmezler arasında. Tamamını Okuyun…

Informatica Incremental Süreçlerin Yönetimi-2 (SCD Type-2 Version Column)

Merhabalar,

Önceki yazılarımda Informatica nedir, Informatica ile ETL nasıl geliştirilir gibi konulara değinmiştik. Sonrasında veri ambarı projelerinin vazgeçilmez unsuru olan Incremental sürecin ne olduğundan, Slowly Changin Dimension ın bu süreçlerde nasıl kullanıldığında, SCD type larından bahsetmiştik. SCD Type-1 ve Type-2 ile ilgili demo çalışmaları yapmıştık.

Bu yazımda Type-2 yi uygularken kullandığımız diğer bir yöntem olan Version Column yöntemini inceleyeceğiz.

Yapacaklarımızı kısaca özetlemek gerekirse, ilgili employee nin city bilgisi değiştiğinde her seferinde Flag imizi 1 artıracağız. Böylece max(Current_Flag_Number) a sahip satırlar en güncel verimiz olmuş olacak.

m_Load_TRG_Employee_Version_Number adında mapping oluşturuyorum.

Target tablomuzu bu örnek için kendimiz oluşturalım. Target Designer ekranına gelip, üst panelden Target >> Create diyoruz. TRG_Employee_Version olarak isimlendiriyorum target tablomu. Örneğimde, Oracle ı kullanacağım için Database type olarak Oracle seçiyorum. SQL kurulu ise makinenizde Microsoft SQL Server ı seçebilirsiniz.. Tamamını Okuyun…

Informatica Ile Incremental Süreçlerin Yönetimi-2 (SCD Type-2 Current Flag Column)

Merhabalar,

Önceki yazımda Incremental süreç nedir, nasıl bir ihtiyaç sonucu uygulamaya başlarız, SCD Type ların dan ve en son olarak da SCD Type-1 ile ilgili bir örnek yapmıştık.

Bu yazı ile SCD Type -2 yi incelemeye devam edeceğiz.

Öncelikle Type-2 yi ne gibi ihtiyaçlar doğrultusunda kullanmalıyızı konuşalım. Verinin değişim historisi sizler için önemli ise Type-2 sizler için uygun diyebiliriz. Yani veri güncellense de yeni hali ile birlikte eski halini daha doğrusu hallerini tutmak  gibi ihtiyaçlarınıza bu yöntemle birlikte cevap verebilirsiniz.

Type-2 yi farklı yöntemlerle uygulayabilirsiniz. Bunlar:

  • Current Flag Column: Bu yöntemi uygularken tabloda verinin en son güncellenen halinin hangi satır olduğunu anlamak için Flag lemek için yani Flag kolonuna ihtiyacımız bulunmakta. Veri güncelse 1, değilse yani eski veri ise 0 olarak flag leriz. Böylece güncel dataları bulmak istediğimizde where CurrentFlag=1 dememiz yeterli olacaktır. İlgili kayıdın tüm eski versiyonlarında Flag=0 olacaktır.
  • Version Number Column: Bu yöntem, flag lemekle hemen hemen aynı. Tek fark version numarası 1 artarak devam eder. Yani initial load da version number ı 1 olarak insert edip, veri güncellenirse 2, tekrar güncellenirse 3 olarak devam edecektir. Versiyon numarası veri değiştikçe artarak devam edecektir.
  • Date Range Columns(StartDate-EndDate): Bu yöntemde verinin geçerli olduğu tarih aralığı tutulur. Yukarıdaki yöntemlerle aynı amaç doğrultusunda yani verinin full history sini tutmak için bu yöntem uygulanabilir. Tek fark verinin değişimi ile ilgili daha ayrıntılı bilgi tutmuş oluyoruz. Tamamını Okuyun…

INFORMATICA NEDIR?

Merhabalar,

Data Management kulvarının önde gelen oyuncusu Informatica yı bilmeyenler için bu yazıyı ele almayı düşündüm. Çoğu büyük şirketin Data Management işlemlerini Informatica ile birlikte yönetmesinin yanında, Gartner ın Data Integration chart ına baktığımızda Informatica en lider ürün olarak karşımıza çıkmakta. Son 3 yıldır liderliğini koruyan Informatica (son 3 yılın chart ına baktığım için böyle diyorum, daha da geri tarihlere gidip durumu görebilirsiniz) .Incelemek isteyenler şuradan erişebilir. http://optimalbi.com/blog/2016/08/16/gartner-data-integration-magic-quadrant-2016-behind-with-the-times/

Tamamını Okuyun…