Ssdt

SSDT 數據流批處理是如何處理的?

  • February 15, 2018

SSDT 如何處理Data Flow任務批處理?

我正在使用 SSDT 將大約 1GB 的 CSV 解析到 SQL Server 中。

在數據流中有一個Flat File源,它轉到 OLE DB 目標(臨時表)。然後使用 SQL 任務執行 SP。

正在解析的 CSV 包含一個匯總表和一個子表,其中包含對匯總表的外鍵引用。因此,CSV 包含匯總表的重複 ID(因此每個子行只有一行)。如果將單個摘要 ID 拆分為兩個批次,那麼我會失去數據 - SP 會執行類似“從暫存 ID 的子表中刪除,然後從暫存中重新插入子表”之類的操作。以前我們必須這樣做,因為供應商沒有為子數據導出唯一 ID。他們現在是,所以我可以使用合併語句。

但。我仍然想知道Data Flow任務是否是批處理的,如果是,怎麼做?

正如問題下的評論中提到的,這個問題的答案包含在這篇文章中:http: //blogs.lobsterpot.com.au/2011/02/17/the-ssis-tuning-tip-that-everyone-misses /

也就是說,預設情況下會進行批處理(每批 10k 行)。

引用自:https://dba.stackexchange.com/questions/197880