導入CSV格式的數據 (參見http://dev.mysql.com/doc/refman/5.6/en/load-data.html) 1.資料庫表(st_pptn_r) CREATE TABLE st_pptn_r ( STCD varchar(8) DEFAULT NULL, TM datet... ...
導入CSV格式的數據 (參見http://dev.mysql.com/doc/refman/5.6/en/load-data.html) 1.資料庫表(st_pptn_r) CREATE TABLE st_pptn_r ( STCD varchar(8) DEFAULT NULL, TM datetime DEFAULT NULL, DRP decimal(5,1) DEFAULT NULL, INTV decimal(5,2) DEFAULT NULL, PDR decimal(5,2) DEFAULT NULL, DYP decimal(5,1) DEFAULT NULL, WTH varchar(1) DEFAULT NULL, DATETIME datetime DEFAULT NULL ) 2.數據 從Oracle導出數據的SQL為(註意欄位順序): 1.st_pptn_r表 select stcd, to_char(tm,'yyyy-mm-dd hh24:mi:ss') tm, drp, intv, pdr, dyp, wth, to_char(datetime,'yyyy-mm-dd hh24:mi:ss') datetime from st_pptn_r; 2.st_river_r表 select stcd, to_char(tm,'yyyy-mm-dd hh24:mi:ss') tm , z, q, xsa, xsavv, xsmxv, flwchrcd, wptn, msqmt, msamt, msvmt from st_river_r; 3.st_rsvr_r表 select stcd, to_char(tm,'yyyy-mm-dd hh24:mi:ss') tm, rz, inq, w, blrz, otq, rwchrcd, rwptn, inqdr, msqmt from st_rsvr_r; 最終的數據格式: 1.st_pptn_r.csv文件 tm,drp,intv,pdr,dyp,wth,datetime 60948000,2014-05-02 04:00:00,0.5,1,,,7, 60948000,2014-05-01 22:00:00,0,1,,,9, 2.st_river_r.csv文件 STCD,TM,Z,Q,XSA,XSAVV,XSMXV,FLWCHRCD,WPTN,MSQMT,MSAMT,MSVMT 61906190,2014-05-02 00:00:00,336.77,,,,,,6,,, 62208300,2014-05-03 10:00:00,24.25,,,,,,6,,, 3.st_rsvr_r.csv文件 STCD,TM,RZ,INQ,W,BLRZ,OTQ,RWCHRCD,RWPTN,INQDR,MSQMT 61615000,2014-05-02 04:00:00,77.13,,56.966,,,,6,, 61615810,2014-05-02 06:00:00,289.56,,71.289,,,,5,, 3.命令操作 1.st_pptn_r表 > Load Data InFile 'D:/st_pptn_r.csv' Into Table ST_PPTN_R fields terminated by ',' lines terminated by '\r\n' ignore 1 lines (stcd, tm, @drp, @intv, @pdr, @dyp, @wth, @datetime) set drp=if(@drp='',NULL,@drp), intv=if(@intv='',NULL,@intv), pdr=if(@pdr='',NULL,@pdr), dyp=if(@dyp='',NULL,@dyp), wth=if(@wth='',NULL,@wth), datetime=if(@datetime='',NULL,str_to_date(@datetime, '%Y-%m-%d %H:%i:%s')); 2.st_river_r表 > Load Data InFile 'D:/st_river_r.csv' Into Table ST_RIVER_R fields terminated by ',' lines terminated by '\r\n' ignore 1 lines (stcd,tm,@z,@q,@xsa,@xsavv,@xsmxv,@flwchrcd,@wptn,@msqmt,@msamt,@msvmt) set z=if(@z='',NULL,@z), q=if(@q='',NULL,@q), xsa=if(@xsa='',NULL,@xsa), xsavv=if(@xsavv='',NULL,@xsavv), xsmxv=if(@xsmxv='',NULL,@xsmxv), flwchrcd=if(@flwchrcd='',NULL,@flwchrcd), wptn=if(@wptn='',NULL,@wptn), msqmt=if(@msqmt='',NULL,@msqmt), msamt=if(@msamt='',NULL,@msamt), msvmt=if(@msvmt='',NULL,@msvmt); 3.st_rsvr_r表 > Load Data InFile 'D:/st_rsvr_r.csv' Into Table ST_RSVR_R fields terminated by ',' lines terminated by '\r\n' ignore 1 lines (stcd, tm, @rz, @inq, @w, @blrz, @otq, @rwchrcd, @rwptn, @inqdr, @msqmt) set rz=if(@rz='',NULL,@rz), inq=if(@inq='',NULL,@inq), w=if(@w='',NULL,@w), blrz=if(@blrz='',NULL,@blrz), otq=if(@otq='',NULL,@otq), rwchrcd=if(@rwchrcd='',NULL,@rwchrcd), rwptn=if(@rwptn='',NULL,@rwptn), inqdr=if(@inqdr='',NULL,@inqdr), msqmt=if(@msqmt='',NULL,@msqmt); ----------------------------------------------------------------------------------------------------- select * from test_info into outfile '/tmp/test.csv' fields terminated by ',' optionally enclosed by '"' escaped by '"' lines terminated by '\r\n'; load data infile '/tmp/test.csv' into table test_info fields terminated by ',' optionally enclosed by '"' escaped by '"' lines terminated by '\r\n'; ------------------------------------------------------------------------------------------------------ UPDATE st_pptn_r SET tm = STR_TO_DATE(CONCAT(DATE_FORMAT(tm,'%Y-%m-%d %H'),':00:00'),'%Y-%m-%d %H:%i:%s') DELETE FROM st_pptn_r WHERE tm IN ( SELECT b.tm FROM ( SELECT a.tm, COUNT(a.stcd) cou FROM st_pptn_r a GROUP BY a.tm ) b WHERE b.cou<1000 ); DELETE FROM st_pptn_r WHERE tm IN ( SELECT b.tm FROM ( SELECT a.tm, COUNT(a.stcd) cou FROM st_pptn_r a WHERE a.drp<0.0001 GROUP BY a.tm ) b WHERE b.cou>2800 ); # DELETE FROM st_pptn_r WHERE tm < '2014-07-01 08:00:00' OR tm > '2014-08-01 08:00:00' DELETE FROM st_pptn_r WHERE tm<'2014-07-16 08:00:00' OR tm>'2014-07-26 08:00:00' ------------------------------------------------------------------------------------------------------ SELECT COUNT(*) cou, 'pptn' FROM st_pptn_r UNION SELECT COUNT(*) cou, 'river' FROM st_river_r UNION SELECT COUNT(*) cou, 'rsvr' FROM st_rsvr_r SELECT tm, stcd, MAX(drp) drp FROM st_pptn_r WHERE drp>10 GROUP BY tm, stcd ORDER BY drp DESC SELECT SUM(cou) cou, LEFT(tm, 11) tmm FROM ( SELECT tm, COUNT(stcd) cou FROM st_pptn_r WHERE drp>10 GROUP BY tm ) b GROUP BY tmm ORDER BY cou DESC
----------------------------------------------------------------------------------------------------------------------
----------------------------------------------------------------------------------------------------------------------
1.數據的導入導出
mysqldump -u root -p --no-create-db --default-character-set=utf8 -e --max_allowed_packet=102400 --net_buffer_length=16384 smfs > f:\da\smfs\smfs12.sql
Mysqldump參數大全
參數說明
--all-databases , -A
導出全部資料庫。
mysqldump -uroot -p --all-databases
--all-tablespaces , -Y
導出全部表空間。
mysqldump -uroot -p --all-databases --all-tablespaces
--no-tablespaces , -y
不導出任何表空間信息。
mysqldump -uroot -p --all-databases --no-tablespaces
--add-drop-database
每個資料庫創建之前添加drop資料庫語句。
mysqldump -uroot -p --all-databases --add-drop-database
--add-drop-table
每個數據表創建之前添加drop數據表語句。(預設為打開狀態,使用--skip-add-drop-table取消選項)
mysqldump -uroot -p --all-databases (預設添加drop語句)
mysqldump -uroot -p --all-databases –skip-add-drop-table (取消drop語句)
--add-locks
在每個表導出之前增加LOCK TABLES並且之後UNLOCK TABLE。(預設為打開狀態,使用--skip-add-locks取消選項)
mysqldump -uroot -p --all-databases (預設添加LOCK語句)
mysqldump -uroot -p --all-databases –skip-add-locks (取消LOCK語句)
--allow-keywords
允許創建是關鍵詞的列名字。這由表名首碼於每個列名做到。
mysqldump -uroot -p --all-databases --allow-keywords
--apply-slave-statements
在'CHANGE MASTER'前添加'STOP SLAVE',並且在導出的最後添加'START SLAVE'。
mysqldump -uroot -p --all-databases --apply-slave-statements
--character-sets-dir
字元集文件的目錄
mysqldump -uroot -p --all-databases --character-sets-dir=/usr/local/mysql/share/mysql/charsets
--comments
附加註釋信息。預設為打開,可以用--skip-comments取消
mysqldump -uroot -p --all-databases (預設記錄註釋)
mysqldump -uroot -p --all-databases --skip-comments (取消註釋)
--compatible
導出的數據將和其它資料庫或舊版本的MySQL 相相容。值可以為ansi、mysql323、mysql40、postgresql、oracle、mssql、db2、maxdb、no_key_options、no_tables_options、no_field_options等,
要使用幾個值,用逗號將它們隔開。它並不保證能完全相容,而是儘量相容。
mysqldump -uroot -p --all-databases --compatible=ansi
--compact
導出更少的輸出信息(用於調試)。去掉註釋和頭尾等結構。可以使用選項:--skip-add-drop-table --skip-add-locks --skip-comments --skip-disable-keys
mysqldump -uroot -p --all-databases --compact
--complete-insert, -c
使用完整的insert語句(包含列名稱)。這麼做能提高插入效率,但是可能會受到max_allowed_packet參數的影響而導致插入失敗。
mysqldump -uroot -p --all-databases --complete-insert
--compress, -C
在客戶端和伺服器之間啟用壓縮傳遞所有信息
mysqldump -uroot -p --all-databases --compress
--create-options, -a
在CREATE TABLE語句中包括所有MySQL特性選項。(預設為打開狀態)
mysqldump -uroot -p --all-databases
--databases, -B
導出幾個資料庫。參數後面所有名字參量都被看作資料庫名。
mysqldump -uroot -p --databases test mysql
--debug
輸出debug信息,用於調試。預設值為:d:t:o,/tmp/mysqldump.trace
mysqldump -uroot -p --all-databases --debug
mysqldump -uroot -p --all-databases --debug=” d:t:o,/tmp/debug.trace”
--debug-check
檢查記憶體和打開文件使用說明並退出。
mysqldump -uroot -p --all-databases --debug-check
--debug-info
輸出調試信息並退出
mysqldump -uroot -p --all-databases --debug-info
--default-character-set
設置預設字元集,預設值為utf8
mysqldump -uroot -p --all-databases --default-character-set=latin1
--delayed-insert
採用延時插入方式(INSERT DELAYED)導出數據
mysqldump -uroot -p --all-databases --delayed-insert
--delete-master-logs
master備份後刪除日誌. 這個參數將自動激活--master-data。
mysqldump -uroot -p --all-databases --delete-master-logs
--disable-keys
對於每個表,用/*!40000 ALTER TABLE tbl_name DISABLE KEYS */;和/*!40000 ALTER TABLE tbl_name ENABLE KEYS */;語句引用INSERT語句。這樣可以更快地導入dump出來的文件,因為它是在插入所有行後創建索引的。該選項只適合MyISAM表,預設為打開狀態。
mysqldump -uroot -p --all-databases
--dump-slave
該選項將導致主的binlog位置和文件名追加到導出數據的文件中。設置為1時,將會以CHANGE MASTER命令輸出到數據文件;設置為2時,在命令前增加說明信息。該選項將會打開--lock-all-tables,除非--single-transaction被指定。該選項會自動關閉--lock-tables選項。預設值為0。
mysqldump -uroot -p --all-databases --dump-slave=1
mysqldump -uroot -p --all-databases --dump-slave=2
--events, -E
導出事件。
mysqldump -uroot -p --all-databases --events
--extended-insert, -e
使用具有多個VALUES列的INSERT語法。這樣使導出文件更小,並加速導入時的速度。預設為打開狀態,使用--skip-extended-insert取消選項。
mysqldump -uroot -p --all-databases
mysqldump -uroot -p --all-databases--skip-extended-insert (取消選項)
--fields-terminated-by
導出文件中忽略給定欄位。與--tab選項一起使用,不能用於--databases和--all-databases選項
mysqldump -uroot -p test test --tab=”/home/mysql” --fields-terminated-by=”#”
--fields-enclosed-by
輸出文件中的各個欄位用給定字元包裹。與--tab選項一起使用,不能用於--databases和--all-databases選項
mysqldump -uroot -p test test --tab=”/home/mysql” --fields-enclosed-by=”#”
--fields-optionally-enclosed-by
輸出文件中的各個欄位用給定字元選擇性包裹。與--tab選項一起使用,不能用於--databases和--all-databases選項
mysqldump -uroot -p test test --tab=”/home/mysql” --fields-enclosed-by=”#” --fields-optionally-enclosed-by =”#”
--fields-escaped-by
輸出文件中的各個欄位忽略給定字元。與--tab選項一起使用,不能用於--databases和--all-databases選項
mysqldump -uroot -p mysql user --tab=”/home/mysql” --fields-escaped-by=”#”
--flush-logs
開始導出之前刷新日誌。
請註意:假如一次導出多個資料庫(使用選項--databases或者--all-databases),將會逐個資料庫刷新日誌。除使用--lock-all-tables或者--master-data外。在這種情況下,日誌將會被刷新一次,相應的所以表同時被鎖定。因此,如果打算同時導出和刷新日誌應該使用--lock-all-tables 或者--master-data 和--flush-logs。
mysqldump -uroot -p --all-databases --flush-logs
--flush-privileges
在導出mysql資料庫之後,發出一條FLUSH PRIVILEGES 語句。為了正確恢復,該選項應該用於導出mysql資料庫和依賴mysql資料庫數據的任何時候。
mysqldump -uroot -p --all-databases --flush-privileges
--force
在導出過程中忽略出現的SQL錯誤。
mysqldump -uroot -p --all-databases --force
--help
顯示幫助信息並退出。
mysqldump --help
--hex-blob
使用十六進位格式導出二進位字元串欄位。如果有二進位數據就必須使用該選項。影響到的欄位類型有BINARY、VARBINARY、BLOB。
mysqldump -uroot -p --all-databases --hex-blob
--host, -h
需要導出的主機信息
mysqldump -uroot -p --host=localhost --all-databases
--ignore-table
不導出指定表。指定忽略多個表時,需要重覆多次,每次一個表。每個表必須同時指定資料庫和表名。例如:--ignore-table=database.table1 --ignore-table=database.table2 ……
mysqldump -uroot -p --host=localhost --all-databases --ignore-table=mysql.user
--include-master-host-port
在--dump-slave產生的'CHANGE MASTER TO..'語句中增加'MASTER_HOST=<host>,MASTER_PORT=<port>'
mysqldump -uroot -p --host=localhost --all-databases --include-master-host-port
--insert-ignore
在插入行時使用INSERT IGNORE語句.
mysqldump -uroot -p --host=localhost --all-databases --insert-ignore
--lines-terminated-by
輸出文件的每行用給定字元串劃分。與--tab選項一起使用,不能用於--databases和--all-databases選項。
mysqldump -uroot -p --host=localhost test test --tab=”/tmp/mysql” --lines-terminated-by=”##”
--lock-all-tables, -x
提交請求鎖定所有資料庫中的所有表,以保證數據的一致性。這是一個全局讀鎖,並且自動關閉--single-transaction 和--lock-tables 選項。
mysqldump -uroot -p --host=localhost --all-databases --lock-all-tables
--lock-tables, -l
開始導出前,鎖定所有表。用READ LOCAL鎖定表以允許MyISAM表並行插入。對於支持事務的表例如InnoDB和BDB,--single-transaction是一個更好的選擇,因為它根本不需要鎖定表。
請註意當導出多個資料庫時,--lock-tables分別為每個資料庫鎖定表。因此,該選項不能保證導出文件中的表在資料庫之間的邏輯一致性。不同資料庫表的導出狀態可以完全不同。
mysqldump -uroot -p --host=localhost --all-databases --lock-tables
--log-error
附加警告和錯誤信息到給定文件
mysqldump -uroot -p --host=localhost --all-databases --log-error=/tmp/mysqldump_error_log.err
--master-data
該選項將binlog的位置和文件名追加到輸出文件中。如果為1,將會輸出CHANGE MASTER 命令;如果為2,輸出的CHANGE MASTER命令前添加註釋信息。該選項將打開--lock-all-tables 選項,除非--single-transaction也被指定(在這種情況下,全局讀鎖在開始導出時獲得很短的時間;其他內容參考下麵的--single-transaction選項)。該選項自動關閉--lock-tables選項。
mysqldump -uroot -p --host=localhost --all-databases --master-data=1;
mysqldump -uroot -p --host=localhost --all-databases --master-data=2;
--max_allowed_packet
伺服器發送和接受的最大包長度。
mysqldump -uroot -p --host=localhost --all-databases --max_allowed_packet=10240
--net_buffer_length
TCP/IP和socket連接的緩存大小。
mysqldump -uroot -p --host=localhost --all-databases --net_buffer_length=1024
--no-autocommit
使用autocommit/commit 語句包裹表。
mysqldump -uroot -p --host=localhost --all-databases --no-autocommit
--no-create-db, -n
只導出數據,而不添加CREATE DATABASE 語句。
mysqldump -uroot -p --host=localhost --all-databases --no-create-db
--no-create-info, -t
只導出數據,而不添加CREATE TABLE 語句。
mysqldump -uroot -p --host=localhost --all-databases --no-create-info
--no-data, -d
不導出任何數據,只導出資料庫表結構。
mysqldump -uroot -p --host=localhost --all-databases --no-data
--no-set-names, -N
等同於--skip-set-charset
mysqldump -uroot -p --host=localhost --all-databases --no-set-names
--opt
等同於--add-drop-table, --add-locks, --create-options, --quick, --extended-insert, --lock-tables, --set-charset, --disable-keys 該選項預設開啟, 可以用--skip-opt禁用.
mysqldump -uroot -p --host=localhost --all-databases --opt
--order-by-primary
如果存在主鍵,或者第一個唯一鍵,對每個表的記錄進行排序。在導出MyISAM表到InnoDB表時有效,但會使得導出工作花費很長時間。
mysqldump -uroot -p --host=localhost --all-databases --order-by-primary
--password, -p
連接資料庫密碼
--pipe(windows系統可用)
使用命名管道連接mysql
mysqldump -uroot -p --host=localhost --all-databases --pipe
--port, -P
連接資料庫埠號
--protocol
使用的連接協議,包括:tcp, socket, pipe, memory.
mysqldump -uroot -p --host=localhost --all-databases --protocol=tcp
--quick, -q
不緩衝查詢,直接導出到標準輸出。預設為打開狀態,使用--skip-quick取消該選項。
mysqldump -uroot -p --host=localhost --all-databases
mysqldump -uroot -p --host=localhost --all-databases --skip-quick
--quote-names,-Q
使用(`)引起表和列名。預設為打開狀態,使用--skip-quote-names取消該選項。
mysqldump -uroot -p --host=localhost --all-databases
mysqldump -uroot -p --host=localhost --all-databases --skip-quote-names
--replace
使用REPLACE INTO 取代INSERT INTO.
mysqldump -uroot -p --host=localhost --all-databases --replace
--result-file, -r
直接輸出到指定文件中。該選項應該用在使用回車換行對(\\r\\n)換行的系統上(例如:DOS,Windows)。該選項確保只有一行被使用。
mysqldump -uroot -p --host=localhost --all-databases --result-file=/tmp/mysqldump_result_file.txt
--routines, -R
導出存儲過程以及自定義函數。
mysqldump -uroot -p --host=localhost --all-databases --routines
--set-charset
添加'SET NAMES default_character_set'到輸出文件。預設為打開狀態,使用--skip-set-charset關閉選項。
mysqldump -uroot -p --host=localhost --all-databases
mysqldump -uroot -p --host=localhost --all-databases --skip-set-charset
--single-transaction
該選項在導出數據之前提交一個BEGIN SQL語句,BEGIN 不會阻塞任何應用程式且能保證導出時資料庫的一致性狀態。它只適用於多版本存儲引擎,僅InnoDB。本選項和--lock-tables 選項是互斥的,因為LOCK TABLES 會使任何掛起的事務隱含提交。要想導出大表的話,應結合使用--quick 選項。
mysqldump -uroot -p --host=localhost --all-databases --single-transaction
--dump-date
將導出時間添加到輸出文件中。預設為打開狀態,使用--skip-dump-date關閉選項。
mysqldump -uroot -p --host=localhost --all-databases
mysqldump -uroot -p --host=localhost --all-databases --skip-dump-date
--skip-opt
禁用–opt選項.
mysqldump -uroot -p --host=localhost --all-databases --skip-opt
--socket,-S
指定連接mysql的socket文件位置,預設路徑/tmp/mysql.sock
mysqldump -uroot -p --host=localhost --all-databases --socket=/tmp/mysqld.sock
--tab,-T
為每個表在給定路徑創建tab分割的文本文件。註意:僅僅用於mysqldump和mysqld伺服器運行在相同機器上。
mysqldump -uroot -p --host=localhost test test --tab="/home/mysql"
--tables
覆蓋--databases (-B)參數,指定需要導出的表名。
mysqldump -uroot -p --host=localhost --databases test --tables test
--triggers
導出觸發器。該選項預設啟用,用--skip-triggers禁用它。
mysqldump -uroot -p --host=localhost --all-databases --triggers
--tz-utc
在導出頂部設置時區TIME_ZONE='+00:00' ,以保證在不同時區導出的TIMESTAMP 數據或者數據被移動其他時區時的正確性。
mysqldump -uroot -p --host=localhost --all-databases --tz-utc
--user, -u
指定連接的用戶名。
--verbose, --v
輸出多種平臺信息。
--version, -V
輸出mysqldump版本信息並退出
--where, -w
只轉儲給定的WHERE條件選擇的記錄。請註意如果條件包含命令解釋符專用空格或字元,一定要將條件引用起來。
mysqldump -uroot -p --host=localhost --all-databases --where=” user=’root’”
--xml, -X
導出XML格式.
mysqldump -uroot -p --host=localhost --all-databases --xml
--plugin_dir
客戶端插件的目錄,用於相容不同的插件版本。
mysqldump -uroot -p --host=localhost --all-databases --plugin_dir=”/usr/local/lib/plugin”
--default_auth
客戶端插件預設使用許可權。
mysqldump -uroot -p --host=localhost --all-databases --default-auth=”/usr/local/lib/plugin/<PLUGIN>”