Mysql

從csv將數據插入mysql的最快方法

  • September 9, 2021

我在 csv 文件中有一個包含 233,902,846 行的數據集。我想將數據載入到 mysql 表中。什麼是傳輸數據的最有效方式,以便數據插入最快。實際上簡單的 mysqlimport 大約需要 4-5 天才能完成插入。

問候莫娜

我通常會使用以下語句:

LOAD DATA LOW_PRIORITY LOCAL INFILE 'C:\\Users\\Desktop\\nameoffile.csv' REPLACE INTO TABLE `tmp_table` CHARACTER SET latin1 FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n';

你也應該看看這個頁面。 http://derwiki.tumblr.com/post/24490758395/loading-half-a-billion-rows-into-mysql

將您的列映射到具有 csv 引擎的表中。

例如下表有兩列,然後在結果文件中載入的數據可以直接在其中查找,類似於 oracle 中的一些外部表。

CREATE TABLE 測試 (i INT NOT NULL, c CHAR(10) NOT NULL)

ENGINE = CSV;

希望能幫助到你。

引用自:https://dba.stackexchange.com/questions/83986