win10系統上批量將CSV導入MYSQL

来源:http://www.cnblogs.com/flamebird/archive/2017/11/09/7800300.html
-Advertisement-
Play Games

先簡單放一下用到的: MYSQL : 5.6版本 python3 powershell。 將csv導入mysql,主要就是用mysql的load data功能實現,其他前輩也都講得很清楚了,這裡簡單列一下語句(註意enclosed只有一個雙引號,此外‘忽略’那裡,rows表示的是列,lines表示的 ...


先簡單放一下用到的:

MYSQL : 5.6版本

python3

powershell。

將csv導入mysql,主要就是用mysql的load data功能實現,其他前輩也都講得很清楚了,這裡簡單列一下語句(註意enclosed只有一個雙引號,此外‘忽略’那裡,rows表示的是列,lines表示的是行,這裡略去首行):

load data local infile 'filepath' into table tablename fields terminated ',' enclosed by '"' lines terminated by '\n' ignore 1 lines:

 local關鍵字聲明是從客戶端傳來伺服器,即使文件在本地也可以用,就是速度會慢一些。而如果文件在本地且不用local關鍵字,那麼需要把文件放在Mysql的Data文件夾下,查看Mysql的data文件夾:

show variables like 'datadir'

然後就是批量的實現了,由於掉了好幾次坑,所以我用了兩種辦法來實現,一個用python3,另一個用Powershell的腳本

不知道為什麼windows上的MySQLdb支持不了python3(Linux的可以),於是換了pymysql,用了local關鍵字導入了第一批數據,沒有問題,就是速度比較慢,感覺每秒1M多吧。

為了提高速度,就想去掉LOCAL,於是把第二批數據拷貝到了data文件夾下,結果不知道是數據的問題還是mysql的問題,出現數據類型不匹配報錯:

1366 : incorrect decimal value: '' for column 'column_name'  in row 1

 但神奇的是我的數據文件里並沒有空值......而且如果不用python,而是直接用mysql執行sql語句,數據能順利導入。於是菜鳥我以為是pymysql出了什麼問題,就計劃用別的方法,搜索了一下想用腳本,剛好windows上有powershell,感覺上手還挺方便,就用了它。

最早的時候,想直接用命令行方式:mysql -uuser -ppwd -e"SQL", 但這種方式里-e後接的sql不能是變數,即使是兩個字元串拼接起來也不行。所以只好用其他方法,查詢到可以用.net框架連接操作mysql,於是就按http://www.xuebuyuan.com/441945.html里的方法(原諒我沒加上鏈接,但不知道為什麼一加編輯頁面就崩潰),不過由於我個人只需要創建表和插入數據的操作,並不需要獲取數據,所以構建好command後,用

$command.ExecuteNonQuery();

直接執行即可。

然而悲催的是,在順利load了十來個數據文件後,它又報錯了!還是原來的錯誤1366!

 這下我是真得想不出原因會在哪裡了,只好按最早查到的解決方案,將mysql的配置文件my.ini里的sql-mode

sql-mode="STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION"

改成

sql-mode="NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION"

然後數據就順利導入了。

然而我還是不知道前面為什麼會報錯,而且有時報錯有時正常?如果有大佬看到這篇文章並願意解答的話,非常感謝!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 步驟如下: 檢查預設network的network number,紅色字體1,一會兒添加監聽會用到: 查看srvctl添加監聽的語法: 添加監聽:名稱: LISTENER4 埠號:1524 創建完後會在配置文件endpoints_listener.ora和listener.ora中添加記錄信息: ...
  • 寫了下db2巡檢的一個小腳本,只能做常規檢查,減少日常工作量,腳本內容如下:#!/bash/binecho "物理CPU個數為:"cat /proc/cpuinfo| grep "cpu cores"| uniqecho "邏輯CPU個數為:"cat /proc/cpuinfo| grep "pro ...
  • 看到sort_buffer_size這個參數(connect級別的參數,MySQL5.7,預設值是1048576位元組,也就是1MB)的預設值這麼小,想著是不是可以調大一點,反正記憶體動不動幾十個GB的,也不在乎這個幾MB的。註:筆者嘗試修改這個參數的值,在典型的排序(較大的表,排序欄位無所索引的條件下 ...
  • MySQL的存儲過程蠻啰嗦的,與MSSQL或者Oracle的存儲過程相比,如果沒有顯式指定,他會隱含地指定一系列特性(characteristic)的預設值來創建存儲過程 通常在使用圖形界面工具進行存儲過程編寫的時候,圖形界面工具會自動加上這部分內容比,如用HeidiSQL創建存儲過程的時候,會自動 ...
  • 最近每天都在空閑時間努力編寫Apworks框架的案例代碼WeText。在文本發佈和處理微服務中,我打算使用微軟的SQL Server for Linux來做演示,於是也就在自己的docker-compose中加入了MS SQL Server的服務。其實在Docker中運行SQL Server是非常容 ...
  • 1.首先下載IBM的IBM Data Server Client,百度雲鏈接:http://pan.baidu.com/s/1kVBVjan 密碼:2gtz 2.安裝好客戶端之後,打開cmd,運行db2cmd。然後在db2cmd中執行以下步驟。 第一步,創建節點 語法:db2 catalog tcp ...
  • 本篇文章主要介紹了"Spring+Redis集成+關係型資料庫持久化",主要涉及到Spring+Redis集成+關係型資料庫持久化方面的內容,對於Spring+Redis集成+關係型資料庫持久化感興趣的同學可以參考一下。上海尚學堂大數據培訓組原作spring文章,陸續大數據相關技術文章奉上,請多關註 ...
  • SQL Server 2008添加欄位成功顯示列名無效,SQL Server的intellisense完美解決問題! ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...