將數據從 48 GB csv 文件導入 SQL Server

我正在使用 SQL Server 預設導入工具導入大小約為 48 GB 的巨大數據文件。它繼續為應用程序執行良好。13000000 行插入，但之後任務失敗並出現以下錯誤。我無法打開 csv，因為它非常大，我也無法在其中逐行移動並分析統計資訊。我真的很困惑如何處理這個問題。

您可以使用 powershell 將大型 CSV 快速導入 sql server。此腳本High-Performance Techniques for Importing CSV to SQL Server using PowerShell - by Chrissy LeMaire（dbatools的作者）

以下是達到的基準：

非索引表每分鐘 535 萬行和

具有聚集索引的表每分鐘 435 萬行。

該腳本甚至將您的導入批處理成 50K 行，以便在導入期間不會佔用記憶體。

編輯：在 SQL Server 端 -

• 確保您設置了正確的恢復模型.. 對於此類負載，批量恢復是最佳設置。
• 自動增長設置為適當的 MB 而不是百分比。
• 數據和日誌文件都配置得足夠大，因此自動增長事件最少。
• 在非高峰時段進行導入。
• 遵循數據載入性能指南和/或我的答案中描述的最佳實踐。
• 即時文件初始化已啟用，電源設置設置為高性能。

引用自：https://dba.stackexchange.com/questions/186121