C# 實現敏感詞過濾

来源:https://www.cnblogs.com/sgwy/archive/2019/11/08/11821126.html

實現 該 敏感詞過濾 採用的是 DFA演算法,參考文章:https://blog.csdn.net/chenssy/article/details/26961957 具體 實現 步驟 如下: 第一步,構建 敏感詞庫(WordsLibrary) 類: using System.Collections.G ...


  實現 該 敏感詞過濾 採用的是 DFA演算法,參考文章:https://blog.csdn.net/chenssy/article/details/26961957

  具體 實現 步驟 如下:

  第一步,構建 敏感詞庫(WordsLibrary)  類:

using System.Collections.Generic;
using System.Linq;
using System;

namespace ContentSafe.SensitiveWord
{
    /// <summary>
    /// 敏感詞庫
    /// </summary>
    public class WordsLibrary
    {
        /// <summary>
        /// 詞庫樹結構類
        /// </summary>
        public class ItemTree
        {
            public char Item { get; set; }
            public bool IsEnd { get; set; }
            public List<ItemTree> Child { get; set; }
        }

        /// <summary>
        /// 詞庫樹
        /// </summary>
        public ItemTree Library { get; private set; }

        /// <summary>
        /// 敏感片語
        /// </summary>
        public string[] Words { get; protected set; }

        /// <summary>
        /// 敏感詞庫
        /// </summary>
        public WordsLibrary()
        {
            LoadWords();
            Init();
        }

        /// <summary>
        /// 敏感詞庫
        /// </summary>
        /// <param name="words">敏感片語</param>
        public WordsLibrary(string[] words) : this()
        {
            Words = words;
        }

        /// <summary>
        /// 載入 敏感片語,可被重寫以自定義 如何載入 敏感片語
        /// </summary>
        public virtual void LoadWords()
        {
        }

        /// <summary>
        /// 詞庫初始化
        /// </summary>
        private void Init()
        {
            if (Words == null)
                Words = new[] { "" };

            Library = new ItemTree() { Item = 'R', IsEnd = false, Child = CreateTree(Words) };
        }

        /// <summary>
        /// 創建詞庫樹
        /// </summary>
        /// <param name="words">敏感片語</param>
        /// <returns></returns>
        private List<ItemTree> CreateTree(string[] words)
        {
            List<ItemTree> tree = null;

            if (words != null && words.Length > 0)
            {
                tree = new List<ItemTree>();

                foreach (var item in words)
                    if (!string.IsNullOrEmpty(item))
                    {
                        char cha = item[0];

                        ItemTree node = tree.Find(e => e.Item == cha);
                        if (node != null)
                            AddChildTree(node, item);
                        else
                            tree.Add(CreateSingleTree(item));
                    }
            }

            return tree;
        }

        /// <summary>
        /// 創建單個完整樹
        /// </summary>
        /// <param name="word">單個敏感詞</param>
        /// <returns></returns>
        private ItemTree CreateSingleTree(string word)
        {
            //根節點,此節點 值為空
            ItemTree root = new ItemTree();
            //移動 游標
            ItemTree p = root;

            for (int i = 0; i < word.Length; i++)
            {
                ItemTree child = new ItemTree() { Item = word[i], IsEnd = false, Child = null };
                p.Child = new List<ItemTree>() { child };
                p = child;
            }
            p.IsEnd = true;

            return root.Child.First();
        }

        /// <summary>
        /// 附加分支子樹
        /// </summary>
        /// <param name="childTree">子樹</param>
        /// <param name="word">單個敏感詞</param>
        private void AddChildTree(ItemTree childTree, string word)
        {
            //移動 游標
            ItemTree p = childTree;

            for (int i = 1; i < word.Length; i++)
            {
                char cha = word[i];
                List<ItemTree> child = p.Child;

                if (child == null)
                {
                    ItemTree node = new ItemTree() { Item = cha, IsEnd = false, Child = null };
                    p.Child = new List<ItemTree>() { node };
                    p = node;
                }
                else
                {
                    ItemTree node = child.Find(e => e.Item == cha);
                    if (node == null)
                    {
                        node = new ItemTree() { Item = cha, IsEnd = false, Child = null };
                        child.Add(node);
                        p = node;
                    }
                    else
                        p = node;
                }
            }
            p.IsEnd = true;
        }
    }
}

  第二步,構建 敏感詞檢測(ContentCheck) 類:

using System.Collections.Generic;
using System.Linq;
using System;

namespace ContentSafe.SensitiveWord
{
    /// <summary>
    /// 敏感詞檢測
    /// </summary>
    public class ContentCheck
    {
        /// <summary>
        /// 檢測文本
        /// </summary>
        public string Text { private get; set; }

        /// <summary>
        /// 敏感詞庫 詞樹
        /// </summary>
        public WordsLibrary.ItemTree Library { private get; set; }

        /// <summary>
        /// 敏感詞檢測
        /// </summary>
        public ContentCheck() { }

        /// <summary>
        /// 敏感詞檢測
        /// </summary>
        /// <param name="library">敏感詞庫</param>
        public ContentCheck(WordsLibrary library)
        {
            if (library.Library == null)
                throw new Exception("敏感詞庫未初始化");

            Library = library.Library;
        }

        /// <summary>
        /// 敏感詞檢測
        /// </summary>
        /// <param name="library">敏感詞庫</param>
        /// <param name="text">檢測文本</param>
        public ContentCheck(WordsLibrary library, string text) : this(library)
        {
            if (text == null)
                throw new Exception("檢測文本不能為null");

            Text = text;
        }

        /// <summary>
        /// 檢測敏感詞
        /// </summary>
        /// <param name="text">檢測文本</param>
        /// <returns></returns>
        private Dictionary<int, char> WordsCheck(string text)
        {
            if (Library == null)
                throw new Exception("未設置敏感詞庫 詞樹");

            Dictionary<int, char> dic = new Dictionary<int, char>();
            WordsLibrary.ItemTree p = Library;
            List<int> indexs = new List<int>();

            for (int i = 0, j = 0; j < text.Length; j++)
            {
                char cha = text[j];
                var child = p.Child;

                var node = child.Find(e => e.Item == cha);
                if (node != null)
                {
                    indexs.Add(j);
                    if (node.IsEnd || node.Child == null)
                    {
                        if (node.Child != null)
                        {
                            int k = j + 1;
                            if (k < text.Length && node.Child.Exists(e => e.Item == text[k]))
                            {
                                p = node;
                                continue;
                            }
                        }

                        foreach (var item in indexs)
                            dic.Add(item, text[item]);

                        indexs.Clear();
                        p = Library;
                        i = j;
                        ++i;
                    }
                    else
                        p = node;
                }
                else
                {
                    indexs.Clear();
                    if (p.GetHashCode() != Library.GetHashCode())
                    {
                        ++i;
                        j = i;
                        p = Library;
                    }
                    else
                        i = j;
                }
            }

            return dic;
        }

        /// <summary>
        /// 替換敏感詞
        /// </summary>
        /// <param name="library">敏感詞庫</param>
        /// <param name="text">檢測文本</param>
        /// <param name="newChar">替換字元</param>
        /// <returns></returns>
        public static string SensitiveWordsReplace(WordsLibrary library, string text, char newChar = '*')
        {
            Dictionary<int, char> dic = new ContentCheck(library).WordsCheck(text);
            if (dic != null && dic.Keys.Count > 0)
            {
                char[] chars = text.ToCharArray();
                foreach (var item in dic)
                    chars[item.Key] = newChar;

                text = new string(chars);
            }

            return text;
        }

        /// <summary>
        /// 替換敏感詞
        /// </summary>
        /// <param name="text">檢測文本</param>
        /// <param name="newChar">替換字元</param>
        /// <returns></returns>
        public string SensitiveWordsReplace(string text, char newChar = '*')
        {
            Dictionary<int, char> dic = WordsCheck(text);
            if (dic != null && dic.Keys.Count > 0)
            {
                char[] chars = text.ToCharArray();
                foreach (var item in dic)
                    chars[item.Key] = newChar;

                text = new string(chars);
            }

            return text;
        }

        /// <summary>
        /// 替換敏感詞
        /// </summary>
        /// <param name="newChar">替換字元</param>
        /// <returns></returns>
        public string SensitiveWordsReplace(char newChar = '*')
        {
            if (Text == null)
                throw new Exception("未設置檢測文本");

            return SensitiveWordsReplace(Text, newChar);
        }

        /// <summary>
        /// 查找敏感詞
        /// </summary>
        /// <param name="library">敏感詞庫</param>
        /// <param name="text">檢測文本</param>
        /// <returns></returns>
        public static List<string> FindSensitiveWords(WordsLibrary library, string text)
        {
            ContentCheck check = new ContentCheck(library, text);
            return check.FindSensitiveWords();
        }

        /// <summary>
        /// 查找敏感詞
        /// </summary>
        /// <param name="text">檢測文本</param>
        /// <returns></returns>
        public List<string> FindSensitiveWords(string text)
        {
            Dictionary<int, char> dic = WordsCheck(text);
            if (dic != null && dic.Keys.Count > 0)
            {
                int i = -1;
                string str = "";
                List<string> list = new List<string>();
                foreach(var item in dic)
                {
                    if (i == -1 || i + 1 == item.Key)
                        str += item.Value;
                    else
                    {
                        list.Add(str);
                        str = "" + item.Value;
                    }

                    i = item.Key;
                }
                list.Add(str);

                return list.Distinct().ToList();
            }
            else
                return null;
        }

        /// <summary>
        /// 查找敏感詞
        /// </summary>
        /// <returns></returns>
        public List<string> FindSensitiveWords()
        {
            if (Text == null)
                throw new Exception("未設置檢測文本");

            return FindSensitiveWords(Text);
        }
    }
}

  第三步,測試與使用方法:

string[] words = new[] { "敏感詞1", "敏感詞2", "含有", "垃圾" }; //敏感片語 可自行在網上 搜索下載

//敏感詞庫 類可被繼承,如果想實現自定義 敏感詞導入方法 可以 對 LoadWords 方法進行 重寫
var library = new WordsLibrary(words); //實例化 敏感詞庫

string text = "在任意一個文本中都可能包含敏感詞1、2、3等等,只要含有敏感詞都會被找出來,比如:垃圾";
ContentCheck check = new ContentCheck(library, text);  //實例化 內容檢測類
var list = check.FindSensitiveWords();    //調用 查找敏感詞方法 返回敏感詞列表
var str = check.SensitiveWordsReplace();  //調用 敏感詞替換方法 返回處理過的字元串

  該 實現方案 不止 這個 使用方法,更多使用方法 可自行 研究


您的分享是我們最大的動力!

更多相關文章
  • 還記得剛曾經因為導入導出不會做而發愁的自己嗎?我見過自己前同事因為一個導出改了好幾天,然後我們發現雖然有開源的庫但是用起來卻不得心應手,主要是因為百度使用方案的時候很多方案並不能解決問題。 尤其是嘗試新技術那些舊的操作還會有所改變,為了節約開發時間,我們把解決方案收入到一個個demo中,方便以後即拿 ...
  • using System; namespace ConsoleApp3 { class Program { static void Main(string[] args) { Console.Write("你要輸入多少項?"); int a = Convert.ToInt32(Console.Rea ...
  • Aspose.PSD for .NET高級PSD文件格式操作API,沒有任何Adobe Photoshop依賴項。API允許創建或編輯Photoshop文件,並提供更新圖層屬性,添加水印,執行圖形操作或將一種文件格式轉換為另一種文件的功能。 近日,Aspose.PSD for .NET更新至最新版本 ...
  • 背景 ASP.NET Core 支持依賴關係註入 (DI) 軟體設計模式,並且預設註入了很多服務,具體可以參考 "官方文檔" , 相信只要使用過依賴註入框架的同學,都會對此有不同深入的理解,在此無需贅言。 然而,在引入 IOC 框架之後,對於之前常規的對於類的依賴(new Class)變成通過構造函 ...
  • 保留兩位小數點 由於簡單的原因大家直接看代碼塊。 執行結果如下: ...
一周排行
  • static void Main(string[] args) { string url = "https://go.microsoft.com/fwlink/?linkid=2108895&amp;clcid=0x409"; DownloadBigFile(new Uri(url), "ssms.... ...
  • 1. 使用ASP.NET Core 3.x 構建 RESTful API - 1.準備工作 什麼是REST 什麼是REST REST一詞最早是在2000年,由Roy Fielding在他的博士論文《Architectural Styles and the Design of Network-base ...
  • wpf 兩個自定義控制項 一個是IP控制項,一個滑動條。先看下效果圖 IPControl 1、實際工作中有時需要設置IP信息,就想著做一個ip控制項。效果沒有window自帶的好,需要通過tab切換。但也能滿足使用。廢話不多說直接上代碼 IPControl.xaml IPControl.xaml.cs 2 ...
  • 近期和幾位做嵌入式開發的朋友閑聊過程中,一位朋友抱怨到:這C#太難用了,我想在N個窗體(或者是N個用戶組件之間)傳遞值都搞不定,非得要定義一個全局變數來存儲,然後用定時器來刷新值,太Low了。我急切的回答道:這很簡單,不就是委托的事嘛。那你來一個示例啊:朋友道。此為這篇博客的起因,所以此篇博客對於有 ...
  • 在面對對象編程中,類的三大特性分別為封裝,繼承,多態。其中多態的具體實現,依賴於三個方法,也就是虛方法,抽象類和介面。 多態的具體作用是什麼呢?或者說多態的存在有什麼意義呢?多態的存在有效的降低了程式的耦合度,在使用的時候,不僅可以表現大家都有的共性,還能在必要的時候突出一些特殊的的個性。 那麼如何 ...
  • [toc] 前言 在之前已經提到過,公用類庫Util已經開源,目的一是為了簡化開發的工作量,畢竟有些常規的功能類庫重覆率還是挺高的,二是為了一起探討學習軟體開發,用的人越多問題也就會越多,解決的問題越多功能也就越完善, 倉庫地址: "April.Util_github" , "April.Util_ ...
  • 【ASP.NET Core學習】在ASP.NET Core 種使用Entity Framework Core介紹,包括如何添加Entity Framwork Core,創建模型和遷移到資料庫,查詢數據,保存數據,使用事務,處理併發衝突 ...
  • 環境:MacOS 10.13 MAMAP Prophp 7.0.33 + xdebugVisual Studio Code前言我所理解的 POP Chain:利用魔術方法並巧妙構造特殊屬性調用一系列函數或類方法以執行某種敏感操作的調用堆棧反序列化常用魔法函數前言我所理解的 POP Chain:利用魔 ...
  • 當創建隊列jobs、監聽器或訂閱伺服器以推送到隊列中時,您可能會開始認為,一旦分派,隊列工作器決定如何處理您的邏輯就完全由您自己決定了。 嗯……並不是說你不能從作業內部與隊列工作器交互,但是通常情況下,哪怕你做了,也是沒必要的。 這個神奇的騷操作的出現是因為“InteractsWithQueue”這 ...
  • 在說正題之前先解釋一下交換機模式是個籠統的稱呼,它不是一個單獨的模式(包括了訂閱模式,路由模式和主題模式),交換機模式是一個比較常用的模式,主要是為了實現數據的同步。 首先,說一下訂閱模式,就和字面上的意思差不多主要就是一個生產者,多個消費者,同一個消息被多個消費者獲取,先看一下官網的圖示 整體執行 ...
x