mongo 3.4分片集群系列之二:搭建分片集群--哈希分片

来源:http://www.cnblogs.com/ddbear/archive/2017/11/02/7767121.html
-Advertisement-
Play Games

這個系列大致想跟大家分享以下篇章(我會持續更新的↖(^ω^)↗): 1、mongo 3.4分片集群系列之一:淺談分片集群 2、mongo 3.4分片集群系列之二:搭建分片集群--哈希分片 3、mongo 3.4分片集群系列之三:搭建分片集群 -- 哈希分片 + 安全 4、mongo 3.4分片集群系 ...


這個系列大致想跟大家分享以下篇章(我會持續更新的↖(^ω^)↗):

1、mongo 3.4分片集群系列之一:淺談分片集群

2、mongo 3.4分片集群系列之二:搭建分片集群--哈希分片

3、mongo 3.4分片集群系列之三:搭建分片集群--哈希分片 + 安全

4、mongo 3.4分片集群系列之四:搭建分片集群 -- 哈希分片 + 安全 + 區域

5、mongo 3.4分片集群系列之五:詳解平衡器

6、mongo 3.4分片集群系列之六:詳解配置資料庫

7、mongo 3.4分片集群系列之七:配置資料庫管理

8、mongo 3.4分片集群系列之八:分片管理

 

這一篇是實踐篇。

1、說說分片集群的架構

這裡要搭建的分片集群架構如下:

2個mongos,1個三個成員的副本集配置伺服器,2個單實例的分片。圖示如下:

簡單介紹一下MongoDB分片集群由以下組件組成:

    • mongos:mongos作為查詢路由器,提供客戶端應用程式和分片集群之間的介面。
    • 配置伺服器:配置伺服器存儲集群的元數據和配置信息。從MongoDB 3.4開始,配置伺服器必須部署為副本集(CSRS)。
    • 分片:每個分片包含分片數據的一部分。每個分片可以部署為副本集。這裡先做單實例,沒有做副本集。

2、分片前註意事項

關於分片集群的一些註意點,請參閱:mongo 3.4分片集群系列之一:淺談分片集群 ,其中第4點,分片前考慮事項。

好啦。慎重考慮完分片前考慮事項的話,接下來就進入實踐吧~~~

3、搭建哈希分片集群

下麵是參照官網的  https://docs.mongodb.com/manual/tutorial/deploy-sharded-cluster-ranged-sharding/

3.1、搭建前準備:

物理環境:

我這邊是用兩個虛擬機模仿兩台伺服器的(真實伺服器也按照這個方法實踐,可以行得通)。

IP分別為192.168.209.155和192.168.209.156。其中,這兩個IP之間必須互通。即192.168.209.155可以ping通192.168.209.156,192.168.209.156也可以ping通192.168.209.155。

配置大致如下:(此操作是建立在mongo3.4版本)

名稱 主機 副本集 Data路徑 Log路徑 配置文件路徑
router1 192.168.209.155 6666 /etc/mongo_router1.conf
router2 192.168.209.156 6666 /etc/mongo_router2.conf
config1 192.168.209.155 6000 mongo_config /mongo_config1/data /mongo_config1/log /mongo_config1/mongo_config1.conf
config2 6001 /mongo_config2/data /mongo_config2/log /mongo_config2/mongo_config2.conf
config3 6002 /mongo_config3/data /mongo_config3/log /mongo_config3/mongo_config3.conf
shard1 192.168.209.155 6100 /mongo_shard1/data /mongo_shard1/log /mongo_shard1/mongo_shard1.conf
shard2 192.168.209.156 6100 /mongo_shard2/data /mongo_shard2/log /mongo_shard2/mongo_shard2.conf

接下來就來搭建哈希分片集群咯~~~

3.2、創建配置伺服器副本集

部署具有三個成員的配置伺服器副本集。

(1)   mongo_config1 (在192.168.209.155上操作)

1)         創建數據路徑文件夾和日誌路徑文件夾

# sudo mkdir –p /mongo_config1/data

# sudo mkdir –p /mongo_config1/log

2)         創建配置文件

# sudo vim /mongo_config1/mongo_config1.conf

文件中的配置如下:(所有空位都是空格,不是TAB鍵哦,大小寫是嚴格區分的)

storage:

 dbPath: “/mongo_config1/data”

 indexBuildRetry: false

systemLog:

 destination: file

 path: “/mongo_config1/log/mongo_config1.log

net:

 port: 6000

sharding:

 clusterRole: configsvr

replication:

 replSetName: mongo_config

如下圖:

     

    關於mongo3.4的配置文件YAML格式,也可以參閱我的另一篇文章mongo3.4 配置文件 註意事項

3)         啟動mongod實例

# mongod --fork --config /mongo_config1/mongo_config1.conf

--fork 是以線程方式啟動mongod服務

--config 指定配置文件路徑

(2)   mongo_config2(在192.168.209.155上操作)

1)         創建數據路徑文件夾和日誌路徑文件夾

# sudo mkdir –p /mongo_config2/data

# sudo mkdir –p /mongo_config2/log

2)         創建配置文件

# sudo vim /mongo_config2/mongo_config2.conf

文件中的配置如下:(所有空位都是空格,不是TAB鍵哦,大小寫是嚴格區分的)

storage:

 dbPath: “/mongo_config2/data”

 indexBuildRetry: false

systemLog:

 destination: file

 path: “/mongo_config2/log/mongo_config2.log

net:

 port: 6001

sharding:

 clusterRole: configsvr

replication:

 replSetName: mongo_config

如下圖:

     

3)         啟動mongod實例

# mongod --fork --config /mongo_config2/mongo_config2.conf

--fork 是以線程方式啟動mongod服務

--config 指定配置文件路徑

(3)   mongo_config3 (在192.168.209.155上操作)

1)         創建數據路徑文件夾和日誌路徑文件夾

# sudo mkdir –p /mongo_config3/data

# sudo mkdir –p /mongo_config3/log

2)         創建配置文件

# sudo vim /mongo_config3/mongo_config3.conf

文件中的配置如下:(所有空位都是空格,不是TAB鍵哦,大小寫是嚴格區分的)

storage:

 dbPath: “/mongo_config3/data”

 indexBuildRetry: false

systemLog:

 destination: file

 path: “/mongo_config3/log/mongo_config3.log

net:

 port: 6002

sharding:

 clusterRole: configsvr

replication:

 replSetName: mongo_config

如下圖:

     

3)         啟動mongod實例

# mongod --fork --config /mongo_config3/mongo_config3.conf

--fork 是以線程方式啟動mongod服務

--config 指定配置文件路徑

(4)   初始化副本集mongo_config(在192.168.209.155上操作)

1)         連接任意一個mongod實例

# sudo mongod --port 6000

2)         初始化副本集

輸入以下命令:(這裡只是為了方便理解,其實命令行打成一行即可)

rs.initiate(

  {

    _id: "mongo_config",

    configsvr: true,

    members: [

      { _id : 0, host : "192.168.209.155:6000" },

      { _id : 1, host : "192.168.209.155:6001" },

      { _id : 2, host : "192.168.209.155:6002" }

    ]

  }

)

_id:必須匹配傳遞給mongod 的--replSet參數。

members:是一個數組,每個副本集成員都需要一個文檔。

configsvr:必須設置true。

3.3、創建分片

(1)   mongo_shard1 (在192.168.209.155上操作)

1)         為mongo_shard1創建配置文件

# sudo vim /mongo_shard1/mongo_shard1.conf

文件中的配置如下:(所有空位都是空格,不是TAB鍵哦,大小寫是嚴格區分的)

storage:

 dbPath: “/mongo_shard1/data”

 indexBuildRetry: false

systemLog:

 destination: file

 path: “/mongo_shard1/log/mongo_shard1.log

net:

 port: 6100

sharding:

 clusterRole: shardsvr

如下圖:

     

2)         啟動mongod實例

# mongod --fork --config /mongo_shard1/mongo_shard1.conf

(2)   mongo_shard2(在192.168.209.156上操作)

1)         為mongo_shard2創建配置文件

# sudo vim /mongo_shard2/mongo_shard2.conf

文件中的配置如下:(所有空位都是空格,不是TAB鍵哦,大小寫是嚴格區分的)

storage:

 dbPath: “/mongo_shard2/data”

 indexBuildRetry: false

systemLog:

 destination: file

 path: “/mongo_shard2/log/mongo_shard2.log

net:

 port: 6101

sharding:

 clusterRole: shardsvr

如下圖:

2)         啟動mongod實例

# mongod --fork --config /mongo_shard2/mongo_shard2.conf

3.3、創建路由

(1)   mongo_router1(在192.168.209.155上操作)

1)         為mongo_router1創建配置文件

# sudo vim /etc/mongo_router1.conf

文件中的配置如下:(所有空位都是空格,不是TAB鍵哦,大小寫是嚴格區分的)

net:

 port: 6666

sharding:

 configDB: mongo_config/192.168.209.155:6000,192.168.209.155:6001,192.168.209.155:6002

如下圖:

   

2)         啟動mongos實例

# mongos --config /etc/mongo_router1.conf

(2)   mongo_router2(在192.168.209.156上操作)

1)         為mongo_router2創建配置文件

# sudo vim /etc/mongo_router2.conf

文件中的配置如下:(所有空位都是空格,不是TAB鍵哦,大小寫是嚴格區分的)

net:

 port: 6666

sharding:

 configDB: mongo_config/192.168.209.155:6000,192.168.209.155:6001,192.168.209.155:6002

如下圖:

     

2)         啟動mongos實例

# mongos --config /etc/mongo_router2.conf

3.4、添加分片到集群

(1)   連接任意一個mongos,這裡連接mongo_router1(在192.168.209.155上操作)

# mongo --port 6666

(2)   添加分片

1)         添加第一個分片mongo_shard1

sh.addShard(“192.168.209.155:6100”);

2)         添加第二個分片mongo_shard2

sh.addShard(“192.168.209.156:6100”);

3.5、為資料庫啟用分片(直接在3.4的視窗中運行即可)

sh.enableSharding(“databaseName”);

其中databaseName,為要分片的資料庫。

3.6、使用哈希分片分片集合(直接在3.5的視窗中運行即可)

這裡有兩種情況,一種是空集合,另一種是有數據的集合,但對於這兩種情況都建議用以下方法。

(1)   對於確定作為分片鍵的欄位,建立哈希索引

use databaseName;

db.collectionName.createIndex(Name:”hashed”);

其中,databaseName是3.5啟用的分片資料庫名稱;collectionName是要分片的集合;Name是作為分片鍵的欄位。

(2)   哈希分片

sh.shardCollection(“databaseName.collectionName”,{Name:”hashed”})

其中,databaseName是3.5啟用的分片資料庫名稱;collectionName是要分片的集合;Name是作為分片鍵的欄位。

 

--------------------------------------- over ------------------------------------------------------

以上資料,大部分是參考官網的資料,在此表示感謝。

   https://docs.mongodb.com/manual/tutorial/deploy-sharded-cluster-ranged-sharding/


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • JOIN: 如果表中有至少一個匹配,則返回行 LEFT JOIN: 即使右表中沒有匹配,也從左表返回所有的行 RIGHT JOIN: 即使左表中沒有匹配,也從右表返回所有的行 FULL JOIN: 只要其中一個表中存在匹配,就返回行 INNER JOIN: 在表中存在至少一個匹配時, 關鍵字返回行 ...
  • 1.等值連接(內連接)2.自連接3.等值連接4.外連接(省略左外連接和右外連接)5.合併查詢數據記錄UNION 會去掉重覆項 UNION ALL 不會去掉重覆項6.子查詢(效率遠高於連接查詢)帶關鍵字的子查詢 ...
  • 之前一直使用mysql和informix資料庫,查表中前10條數據十分簡單: 最原始版本: 當然,我們還可以寫的複雜一點,比如外加一些查詢條件? 比如查詢前10條成績大於80分的學生信息 添加了where查詢條件的版本: 但是!!oracle中沒有top啊!!!!那麼該如何實現呢? 嗯,可以用row ...
  • 當我們儲存bit類型的值時,不能直接寫入數字 上圖中的畫圈部分就是bit類型,若是直接填入"1"或"0"等等就會報錯,如下: 這時候,我們要看bit(M)的M值是多少,若M=4,則寫成b'0001';若M=6,則寫成b'000001'即可 ...
  • count(*) 和 count(1)和count(列名)區別 執行效果上: count(*)包括了所有的列,相當於行數,在統計結果的時候,不會忽略列值為NULL count(1)包括了所有列,用1代表代碼行,在統計結果的時候,不會忽略列值為NULL count(列名)只包括列名那一列,在統計結果的 ...
  • 在ORACLE資料庫(10.2.0.5.0)上修改一個包的時候,編譯有錯誤,具體錯誤信息為"ORA-04028: cannot generate diana for object xxx"。 Warning: Package Body created with compilation errors.... ...
  • 在使用和設計資料庫時個人的一些建議: 1、在設計和使用表等時,請永遠想到一個問題:資料庫時用來存儲數據和查詢數據用的,我們需的是寫和查詢 2、前期在設計數據表結構時,請不要隨意使用數據類型,請認真思考你的需求類型,隨意設計帶來的後果就是查詢速度超級慢,最後被迫重新設計 3、數據類型:能用一個位元組表達 ...
  • 導入數據發生 ora-12592 TNS:包錯誤, 網上搜尋資料發現原因是導入時間長導致防火牆觸發了。 解決方法: 1.關掉防火牆嘗試導入 2.如果是用本地客戶端導入可以嘗試到伺服器上導入 3.在資料庫服務端和客戶端配置sqlnet.ora文件,設置參數SQLNET.SEND_TIMEOUT更大。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...