Sql-Server-2016

SSIS:提取 SQL 數據並根據行數跨平面文件拆分

  • July 30, 2021

我創建了一個簡單的 SSIS 包,用於查詢表並將數據提取到平面 CSV 文件。在生產中,此提取可能是數百萬行,我想根據行數將平面文件目標拆分為多個文件。

因此,每次我們使用文件名達到 100000 行時創建新文件,例如

  • SomeName_01_date.csv
  • SomeName_02_date.csv

我找到了 ZappySys 的付費工具,它可以做到這一點,但無法僅使用普通的 SSIS 工具箱來解決,我可能遺漏了一些非常簡單的東西。我找到了其他文章和影片,但其中一些涉及使用正常工具集之外的其他程式碼,例如 techbrothersit 網站。

編輯:在閱讀和評論之後,這看起來比預期的要難。

如果我更改基於表中日期列拆分平面文件的過程,那會更直接嗎?

表格有一個短日期列,格式為 2020-07-30,每個 CSV 文件將僅包含一天的提取數據(可能是 100K+),然後從表格中刪除該數據。提取所有數據後將進行刪除。

我正在嘗試使用 foreach/forloop 容器,但由於這對我來說是全新的,所以我很努力,任何幫助將不勝感激。

為什麼不通過執行的查詢來限制數據,無論是使用OFFSETandFETCH子句還是使用謂詞,您都可以在 SSIS 中的每次迭代中滑動視窗?

引用自:https://dba.stackexchange.com/questions/297322