Etl

通過 Excel 進行的自動數據移動是否被視為 ETL?

  • September 22, 2015

我想知道自動提取、轉換和載入數據的非正式方法是否構成“ETL”。例如,我編寫 Excel VBA 程式碼以從數據庫中提取到電子表格中,將數據轉換為所需的格式,然後通過將 Excel 文件移動到正確的文件夾來載入。將其展示為簡歷的 ETL 是否不正確?有這個術語或術語嗎?

您描述的過程在技術上是非常技術性的ETL,但是如果我在面試期間與候選人一起審查資格,該職位需要我通常認為的 ETL 經驗,並且他們將您提到的過程描述為“ETL”過程他們是熟悉,很可能面試會禮貌而迅速地結束。

最好用明確的方式來描述這種體驗——VBA 和高級 Excel 技能非常有價值。例如,您可以將其稱為“使用 VBA 和 Excel 進行數據準備和處理”。

當雇主正在尋找正式 ETL 工具或方法之一的經驗時,將這些過程稱為“ETL”經驗是自找麻煩,但對這種區別感到不快。

ETL 不是一種工具,而是旨在將數據從源系統集成到目標系統(通常是數據倉庫)的過程或過程組。

因此,如果您正在對轉換後的數據進行提取、轉換和進一步載入,那麼您就是在執行事實上的ETL。有人可能會爭辯說它更難維護,更容易出錯。他們是對的。但是糟糕的程式碼不會將其轉換為與程式碼不同的東西。同樣適用。

棘手的部分是最終載入過程,即在文件系統中移動 Excel 文件。我們在工作中使用基於 MapR FS 的 MapR DB,它由獨立文件組成,是的,我們進行數據集成,我們最終將這些文件“載入”到它們的最終目的地,儘管它們實際上只是文件。最後,它們由查詢引擎訪問。所以在今天,我認為它是一個異構數據庫,而你的系統是一個 ETL。不明白為什麼不。

https://en.wikipedia.org/wiki/Extract,_transform,_load

引用自:https://dba.stackexchange.com/questions/115689