Mongodb 3.4 + Centos6.5 配置 + mysql.sql轉為csv 或 json導入和導出Mongo (64位系統)

来源:http://www.cnblogs.com/pythonSF/archive/2017/12/24/8099059.html
-Advertisement-
Play Games

Centos下通過yum安裝步驟如下: 聲明:相對比那些用源碼安裝,少了配置和新建log和data目錄,這種簡單粗暴, mongodb 常用命令: mongo 導入 json 或者csv 做法 mongoimport --db table-name --collection table-name - ...


Centos下通過yum安裝步驟如下:

      聲明:相對比那些用源碼安裝,少了配置和新建log和data目錄,這種簡單粗暴,

1,創建倉庫文件,
      vi /etc/yum.repos.d/mongodb-org-3.4.repo
2,複製下麵配置,保存退出
     [mongodb-org-3.4]
     name=MongoDB Repository
   baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/
   gpgcheck=1
   enabled=1
   gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc
 3,yum安裝
yum install -y mongodb-org

4,修改配置文件,別的機器也能訪問,不止是 127.0.0.1
vi /etc/mongod.conf -----》bind_ip 預設是127.0.0.1 修改為 0.0.0.0

5,啟動,停止
service mongo start, service mongo stop

6,日誌目錄位置 ---》 cat /var/log/mongodb/mongod.log
資料庫文件 ----》 cat /var/lib/mongo

7,卸載 mongo ----> yum erase $(rpm -qa | grep mongodb-org)

連接mongo的可視化工具我用的是--robo3T 註意的是MongoVUE不支持mongodb3版本的

 

mongodb 常用命令:

  查看資料庫
    > show dbs
  使用資料庫
     > use database-name
   查看表
     > show tables
   查詢數據
      > db.table-name.find({})
   查詢條件
      > db.table-name.find({'name':'zhangsan'})
建立索引
> db.table-name.ensureIndex({'name':1}) 1為升序,-1為降序
複合索引
> db.table-name.ensureIndex{{'name':1,'age':1}} 只查詢name會索引。如果只查詢age不會用到索引,如果想用索引前面必須有N個索引列
查看索引是否建立
> db.table-name.getIndexes()
刪除索引
> db.table-name.dropIndex({'name':1})
管理索引,查看所有索引:
> db.system.index.find()
插入欄位
> db.table-name.update({query},{$set:{'status':'1'}},false,true)
false: 欄位存在不插入,預設為false
true: 只更新第一條記錄,如果為true 全部更新

 

mongo 導入 json 或者csv 做法

聲明:4G的 .sql文件(20050144條數據)導入mongodb 總共時間為 28分鐘 + 25分鐘 + 15分鐘
①,28分鐘: 在linux 中 source ./.sql目錄 導入資料庫
②,25分鐘: 用Navicat for MySQL 導出格式為csv 或者json
③,15分鐘: 用mongo自帶的mongoimport命令 上傳csv或者json

前2步傻瓜式操作,唯一註意的是②步:
json格式情況下: 4G大小的.sql文件,如果用navicat轉為json大小為11G,11G的json上傳mongo會 ‘/a’錯誤,實驗200MB的沒有問題
csv格式情況下: 4G大小的.sql文件,如果用navicat轉為csv大小還是4G,其中csv會是亂碼,不用管,直接上傳mongo沒有問題,
navicat導出的時候選擇一定選擇 ’包含列的標題‘ 後期上傳名mongdb時候可以少填寫參數為列
導入命令如下:
json: 
            mongoimport --db  table-name  --collection table-name  --file /test.json   
     csv:
mongoimport --db table-name  --collection table-name --type csv --headerline --ignoreBlanks  --file /test.csv  --numInsertionWorkers 4
導出命令如下:
      json:

            mongoexport  --db  table-name  --collection table-name  -o /test.json

      csv: 

mongoexport  --db  table-name  --collection table-name --csv -f id,province,city -o /test.json
--csv 指要要導出為csv 格式,導出csv之後必須指明導出的列
-f 指明需要導出哪些列
    
參數說明
--db 指明使用的庫, 本例中為” table-name
          --collection 指明要導出的表, 本例中為”table-name”
--type 指明導入的類型,預設的為json
--headerline 僅適用於導入csv,tsv格式的數據,表示文件中的第一行作為數據頭
--ignoreBlanks 忽略空白符
--file 文件的位置
--numInsertionWorkers 為了提高mongo的插入效率,採用mongodb推薦的(numInsertionWorkers)多線程操作。本質來說,就是將insert任務,拆分成多個線程來做。









您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • jquery中ajax請求後臺數據成功後既不執行success也不執行error,此外系統報錯:Uncaught SyntaxError: Unexpected identifier at Object.success,但後臺能夠返回數據,原代碼如下: 主要原因在於後臺返回的數據並非json格式,而 ...
  • 國際化環境下系統架構演化資料庫架構Related Link:JFrog Artifactory https://jfrog.com/open-source/Ansible http://www.ansible.com.cn/index.htmlgrafana https://grafana.com/... ...
  • 線上聊天項目結構圖: 多用戶登陸效果圖: 多用戶聊天效果圖: 資料庫效果圖: 重新構建了Server類,使用了Gson方法,通過解析Json字元串,增加Info類,簡化判斷過程。 Server類代碼如下: 新增的工具類Info,通過info對象的get方法把獲得服務端得到的各種字元串直接歸類了。 I ...
  • java二分查找法 今晚上在逛碼雲的時候,看到一個php的二分查找法,看著這詞比較熟悉,(因為當時學php的時候也學過,只是工作中沒用過,又加上學的時候就稀里糊塗的,慢慢的就忘了),就點進去了,就用java寫了一遍,使用的遞歸。 二分查找法的個人理解: 首先你得是個從小到大順序的數組,進行數組索引取 ...
  • 建模的重要性: 為了更好的理解一個系統 管理複雜度(也就是為了敏捷開發) 理解不同的關註點 儘早發現問題和遺漏 與項目干係人進行溝通 驅動實現 資源高效利用 ...
  • 簡單聊天Demo 使用tcp協議實現的簡單聊天功能(非常簡單的) 思想:使用2個線程,一個線程是用來接收消息的,另一個線程是用來發消息的。 客戶端Demo代碼: 伺服器端Demo代碼: 發送線程的Demo代碼: 接收線程的Demo代碼: ...
  • 今天的學習內容是python中的列表的相關內容。 一.創建列表 1.創建一個普通列表 2.創建一個混合列表 3.創建一個空列表 三種方式就介紹給大家了,接下來,如果想向列表中添加元素,該怎麼辦呢? 二.向列表中添加元素 1.append >>> tabulation1.append('紫霞')>>> ...
  • 上一篇我們講到了AI架構之一的行為樹,本篇文章和下一篇文章我們將對行為樹進行優化,在本篇文章中我們講到的是記憶體優化 問題 上一篇中我們設計的行為樹由於直接採用new進行動態記憶體分配,沒有自己進行管理。因此行為樹各節點的存儲位置會散佈在記憶體空間的各處,行為樹在不同節點中切換時會導致Cache頻繁失效。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...