如何將 NetCDF 文件中的數據導入 SQL Server？

我被要求調查將數據從 NetCDF 文件導入 SQL 伺服器的可行性。

該文件可能超過 300-400Mb，每天提供 4 次。但是我只對一小部分數據感興趣。（可能低至 3-5%）。我們估計每次執行導入約 4000 行並累積數據。

從我讀到的 NetCDF 文件是一個 XML 文件。其中也可能包括二進制數​​據。

導入數據的最佳選擇是什麼？我應該將整個文件導入工作表然後選擇我想要的嗎？或者是否可以使用 SQL XML 功能解析/查詢文件並僅導入我感興趣的數據。

我很感激任何對 NetCDF 有第一手經驗以及他們使用過哪些工具的人的任何建議。

我的解決方案是創建一個 SSIS 包，它有一個使用Microsoft 科學數據集的 C# 腳本任務。(SDS)

然後 C# 腳本循環遍歷數據並將其傳遞回 SSIS，然後將其插入 SQL 伺服器。

一旦我執行了基礎知識，我就在其他 SE 網站上尋求幫助，我的範常式式碼就在那裡。

我的數據文件包含整個紐西蘭的氣象數據，但我只對一個小的特定區域感興趣。由於數據是具有可靠座標的地理空間數據，因此我的腳本可以對返回的內容更具選擇性，從而節省時間和大量不必要的 I/O。

我非常感謝人們給予我的幫助。我希望能夠以同樣的方式幫助他人。如果您對我有任何疑問或在此處添加評論，我將盡我所能提供幫助。

引用自：https://dba.stackexchange.com/questions/136930