在ASP.NET Core 2.0上操作MongoDB就是能這麼的簡便酷爽（自動完成分庫分表）

来源:https://www.cnblogs.com/Andre/archive/2018/09/27/9712245.html
-Advertisement-
Play Games

NoSQL是泛指非關係型的資料庫，現今在我們的項目中也多有使用，其獨特的優點為我們的項目架構帶來了不少亮點，而我們這裡的主角（MongoDB）則是NoSQL資料庫家族中的一種。事實上，NoSQL資料庫的應用場景有很多，其最主要的目的就是為了能解決大規模數據集合多重數據種類帶來的困難，及大數據應用的難... ...


NoSQL是泛指非關係型的資料庫，現今在我們的項目中也多有使用，其獨特的優點為我們的項目架構帶來了不少亮點，而我們這裡的主角（MongoDB）則是NoSQL資料庫家族中的一種。事實上，NoSQL資料庫的應用場景有很多，其最主要的目的就是為了能解決大規模數據集合多重數據種類帶來的困難，及大數據應用的難題。

 

MongoDB

MongoDB是一個開源的文檔型資料庫，由C++語言編寫，採用分散式的文件存儲方案，而文件的存儲格式為BSON。MongoDB支持的數據類型有很多種，如：String、Int、Float、Timestamp、Binary、Object、Date、Arrays等。而MongoDB的特點也有很多，如：強大的查詢語言、支持索引、支持自動處理碎片、支持JAVA/C#/Python等多種開發語言、支持面向集合存儲等。關於MongoDB的具體描述也可自行到其官網查看，我這裡就不再過多啰嗦了，下麵貼出與其幾個相關的網址吧：

MongoDB官網：https://www.mongodb.com/

MongoDB官方的.NET API文檔：http://api.mongodb.com/csharp/current/html/R_Project_CSharpDriverDocs.htm

MongoDB官方的github網址：https://github.com/mongodb/mongo

MongoDB可視化管理工具NoSQL Manager for MongoDB的官網：https://www.mongodbmanager.com/

 

背景

在大部分的項目中都會遇到要將短消息類型的數據（比如企業系統內的用戶操作行為的“操作日記”數據、聊天通訊系統內的“對話記錄”等數據）做持久化，而這種數據的特征就是關係簡單、數據量龐大、大部分只有讀寫操作等。基於這些業務需要與應用場景，那麼我們就可以考率使用MongoDB來做數據的持久化存儲與管理了。

在這裡，我們將模擬一個基於Saas平臺下的企業系統內“操作日記”的業務場景（項目將以Saas服務提供給各個企業使用，並將所有用戶在系統上的操作行為以日記方式存儲到資料庫去），並使用MongoDB來做數據的持久化存儲與管理（包含對數據的增加與查詢操作）。這裡我們為了簡便則將代碼的結構層次分為兩層（實際項目中各位按需分層級），那麼項目結構將是這個樣子的：

1、Lezhima.Web：接受來自客戶端的請求，及服務端響應的出入口。由一個基於ASP.NET Core的MVC項目組成。

2、Lezhima.Data：直接跟MongoDB進行通訊交互，實現對DB的增、查等操作。由一個基於.NET Core的類庫組成。

 

業務規則：

基於上述的應用場景所悉，我們將面向的是企業客戶，且是以Saas服務運行在雲上的，則我們操作管理MongoDB時將面臨如下幾個規則（基於海量數據的讀寫考率）：

1、希望數據能按企業ID分庫，即各個企業的數據歸檔到其對應的獨立庫中。

2、能根據日期每天分表存儲數據。

3、分庫能按企業ID自動完成，分表能按日期自動完成。

 

與MongoDB通訊的API類庫：

我們將使用由MongoDB官方提供的API類庫來與MongoDB進行通訊與交互，在Lezhima.Data項目中可通過NuGet管理器引用如下兩個類庫：

1、MongoDB.Bson

2、MongoDB.Driver

 

實現代碼

通過上面的介紹，我們清楚了兩個分層之間的功能與關係，那麼接下來我們就分別來看看它們具體的代碼，及操作MongoDB的簡便酷爽吧。

1、我們先看看Lezhima.Data層的代碼，首先定義一個名為“MongoDbContext”類，用於管理MongoDB的上下文，代碼如下：

  1 using System;
  2 using System.Collections.Generic;
  3 using System.Linq;
  4 using System.Runtime.InteropServices;
  5 using System.Security.Authentication;
  6 using System.Text.RegularExpressions;
  7 using System.Threading.Tasks;
  8 using MongoDB.Bson;
  9 using MongoDB.Driver;
 10 
 11 namespace Lezhima.Data.Context
 12 {
 13     /// <summary>
 14     /// MongoDB對象的上下文
 15     /// </summary>
 16     public class MongoDbContext
 17     {
 18 
 19         /// <summary>
 20         /// 緩存指定庫中表對象（集合）
 21         /// </summary>
 22         public static Dictionary<string, object> _collectionsMongoDb;
 23 
 24 
 25         /// <summary>
 26         /// Mongo上下文 
 27         /// </summary>
 28         public IMongoDatabase DbContext { get; }
 29 
 30 
 31         /// <summary>
 32         /// 初始化MongoDb數據上下文
 33         /// 將資料庫名傳遞進來
 34         /// </summary>
 35         public MongoDbContext(string dbName)
 36         {
 37             //連接字元串，如："mongodb://username:password@host:port/[DatabaseName]?ssl=true"
 38             //建議放在配置文件中
 39             var connectionString = "mongodb://root:[email protected]:27017";
 40             try
 41             {
 42                 var mongoClient = new MongoClient(connectionString);
 43                 //資料庫如果不存在，會自動創建
 44                 DbContext = mongoClient.GetDatabase(dbName);
 45             }
 46             catch (Exception e)
 47             {
 48                 Log.WriteLogByError("構建MongoDbContext出錯", e);
 49                 throw;
 50             }
 51         }
 52 
 53         /// <summary>
 54         /// 非同步獲取表（集合）
 55         /// </summary>
 56         /// <typeparam name="TEntity"></typeparam>
 57         /// <param name="datetime"></param>
 58         /// <returns></returns>
 59         public async Task<IMongoCollection<TEntity>> GetCollectionAsync<TEntity>(string tableName="") where TEntity : class
 60         {
 61             // 集合緩存如果為空，那麼創建一個
 62             if (_collectionsMongoDb == null)
 63             {
 64                 _collectionsMongoDb = new Dictionary<string, object>();
 65             }
 66 
 67             var dt = DateTime.Now.ToString("yyyy -MM-dd");
 68 
 69             if (!string.IsNullOrEmpty(tableName))
 70             {
 71 
 72                 dt = tableName;
 73             }
 74 
 75             // 獲取集合名稱，使用的標準是在實體類型名後添加日期
 76             var collectionName = dt;
 77 
 78             // 如果集合不存在，那麼創建集合
 79             if (false == await IsCollectionExistsAsync<TEntity>(collectionName))
 80             {
 81                 await DbContext.CreateCollectionAsync(collectionName);
 82             }
 83 
 84             // 如果緩存中沒有該集合，那麼加入緩存
 85             if (!_collectionsMongoDb.ContainsKey(collectionName))
 86             {
 87                 _collectionsMongoDb[collectionName] = DbContext.GetCollection<TEntity>(collectionName);
 88             }
 89 
 90             // 從緩存中取出集合返回
 91             return (IMongoCollection<TEntity>)_collectionsMongoDb[collectionName];
 92         }
 93 
 94 
 95         /// <summary>
 96         /// 集合是否存在
 97         /// </summary>
 98         /// <typeparam name="TEntity"></typeparam>
 99         /// <returns></returns>
100         public async Task<bool> IsCollectionExistsAsync<TEntity>(string name)
101         {
102             var filter = new BsonDocument("name", name);
103             // 通過集合名稱過濾
104             var collections = await DbContext.ListCollectionsAsync(new ListCollectionsOptions { Filter = filter });
105             // 檢查是否存在
106             return await collections.AnyAsync();
107         }
108     }
109 }

 

2、在Lezhima.Data層增加一個名為“IMongoRepository”介面，用於封裝向業務層提供操作MongoDB的操作方法，代碼如下：

  1 using System;
  2 using System.Collections.Generic;
  3 using System.Linq;
  4 using System.Linq.Expressions;
  5 using System.Text;
  6 using System.Threading.Tasks;
  7 using MongoDB.Bson;
  8 using MongoDB.Driver;
  9 
 10 namespace Lezhima.Data.Interface
 11 {
 12     public interface IMongoRepository<T> where T : class
 13     {
 14         /// <summary>
 15         /// 從指定的庫與表中獲取指定條件的數據
 16         /// </summary>
 17         /// <returns></returns>
 18         Task<List<T>> GetListAsync(Expression<Func<T, bool>> predicate, string dbName, string tableName = "");
 19 
 20         /// <summary>
 21         /// 對指定的庫與表中新增數據
 22         /// </summary>
 23         /// <returns></returns>
 24         Task<bool> Add(List<T> list, string dbName, string tableName = "");
 25     }
 26 }
 27

 

3、在Lezhima.Data層再增加一個名為“MongoRepository”類，實現“IMongoRepository”介面，代碼如下：

  1 using System;
  2 using System.Collections.Generic;
  3 using System.Linq;
  4 using System.Linq.Expressions;
  5 using System.Threading.Tasks;
  6 using System.Web;
  7 using Lezhima.Data.Context;
  8 using Lezhima.Data.Interface;
  9 using MongoDB.Bson;
 10 using MongoDB.Driver;
 11 
 12 
 13 namespace Lezhima.Data
 14 {
 15     /// <summary>
 16     /// 封裝向業務層提供操作MongoDB的操作方法
 17     /// </summary>
 18     /// <typeparam name="T"></typeparam>
 19     public class MongoRepository<T> : IMongoRepository<T> where T : class
 20     {
 21         /// <summary>
 22         /// 從指定的庫與表中獲取指定條件的數據
 23         /// </summary>
 24         /// <returns></returns>
 25         public async Task<List<T>> GetListAsync(Expression<Func<T, bool>> predicate, string dbName, string tableName)
 26         {
 27             var dbContext = new MongoDbContext(dbName);
 28             var collection = await dbContext.GetCollectionAsync<T>(tableName);
 29             return collection.AsQueryable<T>().Where(predicate).ToList();
 30         }
 31 
 32 
 33         /// <summary>
 34         /// 對指定的庫與表中新增數據
 35         /// </summary>
 36         /// <returns></returns>
 37         public async Task<bool> Add(List<T> list, string dbName, string tableName = "")
 38         {
 39             var dbContext = new MongoDbContext(dbName);
 40             var collection = await dbContext.GetCollectionAsync<T>(tableName);
 41             await collection.InsertManyAsync(list);
 42             return true;
 43         }
 44     }
 45 }
 46

 

4、在Lezhima.Web層再增加一個名為“TestController”的控制器，用於向用戶提供測試讀寫MongoDB操作的出入口，代碼如下：

  1 using System;
  2 using System.Collections.Generic;
  3 using System.Linq;
  4 using System.Threading.Tasks;
  5 using Lezhima.Core;
  6 using Lezhima.Data.Interface;
  7 using Microsoft.AspNetCore.Mvc;
  8 
  9 namespace Lezhima.Web.Controllers
 10 {
 11     [Route("api/[controller]")]
 12     public class TestController : Controller
 13     {
 14         private readonly IMongoRepository<ActionLog> _IMongoRepository;
 15 
 16         public TestController(IMongoRepository<ActionLog> __IMongoRepository)
 17         {
 18             _IMongoRepository = __IMongoRepository;
 19         }
 20 
 21         /// <summary>
 22         /// 測試新增數據方法
 23         /// </summary>
 24         /// <returns></returns>
 25         [HttpGet]
 26         public async Task<string> Add()
 27         {
 28             //創建兩個不同企業ID的實體數據
 29             var model1 = new ActionLog();
 30             model1.CompanyId = Guid.Parse("B29BC831-A974-4114-90E2-0001E03FBCAF");
 31             model1.ActionLogId = Guid.NewGuid();
 32             model1.Context = "測試企業1";
 33             model1.CreateTime = DateTime.Now;
 34             model1.UpdateTime = DateTime.Now;
 35 
 36             var model2 = new ActionLog();
 37             model2.CompanyId = Guid.Parse("651bbe49-a4c8-4514-babb-897dad7065e3");
 38             model2.ActionLogId = Guid.NewGuid();
 39             model2.Context = "測試企業2";
 40             model2.CreateTime = DateTime.Now;
 41             model2.UpdateTime = DateTime.Now;
 42 
 43 
 44             var list = new List<ActionLog>();
 45             list.Add(model1);
 46             list.Add(model2);
 47 
 48             var group_list = list.GroupBy(p => p.CompanyId);
 49             var tableName = "ActionLog_" + DateTime.Now.ToString("yyyy-MM-dd");
 50             foreach (var group in group_list)
 51             {
 52                 var dbName = "ActionLog_" + group.FirstOrDefault().CompanyId.ToString();
 53 
 54                 await _IMongoRepository.Add(group.ToList(), dbName, tableName);
 55             }
 56 
 57             return "value1";
 58         }
 59 
 60         /// <summary>
 61         /// 測試查詢方法
 62         /// </summary>
 63         /// <param name="companyId"></param>
 64         /// <returns></returns>
 65         [HttpGet("{companyId}")]
 66         public async Task<List<ActionLog>> Get(Guid companyId)
 67         {
 68             var dbName = "ActionLog_" + companyId.ToString();
 69             var tableName = "ActionLog_" + DateTime.Now.ToString("yyyy-MM-dd");
 70             var list = await _IMongoRepository.GetListAsync(p => p.Context.IndexOf("測試企業") > -1, dbName, tableName);
 71             return list;
 72         }
 73 
 74     }
 75 }
 76

 

總結

1、MongoDB是開源的文檔型非關係型資料庫，支持JAVA/C#/Python等多種開發語言。

2、通過由MongoDB官方提供的兩個API類庫實現跟MongoDB通訊交互。

3、MongoDB不需要提前創建資料庫與表結構，其會通過傳遞進去的數據結構自動判斷是否需要維護庫與表的結構，這個機制對我們項目的大部分場景都很實用。

4、最後再通過對Lezhima.Data層簡單的封裝後，使得面向業務層的調用非常簡便。

 

聲明

本文為作者原創，轉載請備註出處與保留原文地址，謝謝。如文章能給您帶來幫助，請點下推薦或關註，感謝您的支持！

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 簡單的實現登錄攔截及統一異常處理（自定義異常）
    webmvc配置類： 註：registry.addInterceptor(攔截器類對象).addPathPatterns("需要攔截的請求路徑").excludePathPatterns("可以放行的請求路徑"); 攔截器類，這裡為登錄攔截 到這裡實現了簡單的登錄攔截，但是上面通過response對 ...
  • 使用Topshelf開發Windows服務、記錄日誌
    開發windows服務，除了在vs里新建服務項目外（之前有寫過具體開發方法，可點擊查看），還可以使用Topshelf。 不過使用topshelf需要.netframeword 4.5.2版本，在vs2013上引用不成功，我這裡使用的是vs2017。 以下為具體步驟： 一、引用topshelf 並使用 ...
  • Visual Studio中xml文件使用app.config、web.config等的智能提示的方法
    在.Net開發的過程中，有時我們需要使用Xml文件作為配置文件（基於某些情況的考慮），而不是app.config、web.config這種，但是我們在xml中配置時希望可以增加類似編輯app.confg、web.config文件時的智能提示。 沒有作特殊配置時，編寫xml文件如下： 從上圖可以看到， ...
  • c# 獲取客戶端IP
    /// /// 獲得當前頁面客戶端的IP /// /// 當前頁面客戶端的IP public static string GetIP() { try { string result = String.Empty; ... ...
  • c#封裝DBHelper類
    public enum EffentNextType { /// /// 對其他語句無任何影響 /// None, /// /// 當前語句必須為"select count(1) from .."格式，如果存在則繼續執行，不存在回滾事務 /// ... ...
  • NETCore 同步AD域組織和用戶
    BitAdminCore為沒有自主開發框架的小團隊，提供快速項目搭建及開發能力。 框架演示：http://bit.bitdao.cn 框架源碼：https://github.com/chenyinxin/cookiecutter-bitadmin-core 不解釋，直接上代碼 ...
  • 【Config】類庫讀取自己的配置文件，配置文件的擴展
    我們在項目中一般都是使用統一的項目文件配置，所有的配置和自定義的欄位都寫在一個web.config或者App.config文件中。一般平時我們也沒有發現問題，確實這麼寫沒有問題，但是就是如果寫的多了就看著很臃腫。 並且假如你其他地方不是主項目的配置也寫在這裡，多了是不是很亂，有時候自己都不知道這個是 ...
  • 【C#】簡單的發送socket字元串
    1 打開VS，新建一個C#視窗程式 2 添加按鈕 3 寫按鈕的事件代碼 雙擊這個按鈕 進入代碼界面 輸入如下內容，註意IP和埠 如果你是複製的，會發現有標紅的地方，這些需要使用using添加引用。 在頂部添加 using System.Net.Sockets; 這一句即可，如下： 然後即可點擊運行 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類