Sql-Server

如何在 Informatica 中為 Netezza 作為源和 SQL Server 作為目標提高 ETL 性能?

  • March 13, 2016

可以更改 Informatica 伺服器、Informatica 軟體本身或數據庫伺服器上的哪些設置或配置以增加 Informatica ETL 吞吐量?我們可以設置哪些基準來解決性能問題?我們專門使用 Netezza 作為源和 SQL Server 作為目標。

請從這個問題中排除多執行緒和 Informatica 分區。

這是我們過去做過的:

  • 每隔一段時間重新啟動伺服器
  • 在 ETL 載入之前刪除 SQL Server 中目標表上的索引
  • 提高送出級別

如果 powercenter informatica 是瓶頸(而不是 netezza、sql server 或網路),那麼 powercenter Session 中的設置可能會有所幫助。IIRC 它是“記錄緩衝區大小”或類似的東西。將其從預設更改為 512MB。如果這有幫助,最好通過嘗試較低的值將其減少到更合理的值。

此設置不是用於在記憶體中保存單個記錄的大小,但它至少需要足夠大以容納其中的一條記錄。內置幫助在這一點上有點含糊。

在相反的情況下(SQL Server -> Netezza),我注意到數據類型也可以發揮作用。如果源表佈局包含 LONG/NTEXT/VARBINARY 數據類型,powercenter 可能會嚴重高估它需要為單個記錄保留的記憶體量。Netezza 沒有這些,但如果目標包含大欄位,它可能也很重要。

powercenter 會話日誌文件應該包含一些關於它保留多少記憶體來傳輸數據的資訊。如果它太低,它可能成為瓶頸。

引用自:https://dba.stackexchange.com/questions/111584