1.jieba分詞的安裝 直接在cmd視窗當中pip install即可 2.jieba分詞的介紹 jieba分詞是目前比較好的中文分片語件之一，jieba分詞支持三種模式的分詞(精確模式、全模式、搜索引擎模式)，並且支持自定義詞典(這一點在特定的領域很重要，有時候需要根據領域的需要來添加特定的詞典 ...
1.jieba分詞的安裝
直接在cmd視窗當中pip install即可
2.jieba分詞的介紹
jieba分詞是目前比較好的中文分片語件之一，jieba分詞支持三種模式的分詞(精確模式、全模式、搜索引擎模式)，並且支持自定義詞典(這一點在特定的領域很重要，有時候需要根據領域的需要來添加特定的詞典以提高分詞結果的質量)、支持繁體字分詞
3.jieba分詞三種分詞模式及使用例子
jieba分詞模塊的主要方法是jieba.cut()，精確模式和全模式的區別主要在於其中的參數不同
(1)精確模式：將文本精確地切開，適用於文本分析
jieba.cut()方法裡面的CUT_ALL=False
(2)全模式：將文本裡面所有可以成詞的詞語全部提取出來，速度較快，但是不能解決歧義的問題
jieba.cut()方法裡面的CUT_ALL=True
(3)搜索引擎模式：在精確模式的基礎上，將長詞再次切分，供搜索使用
需要調用jieba.cut_for_search()方法
僅僅是看這些東西，看不出個所以然來，接下來對三種分詞的模式進行測試：
1 text='北京郵電大學是教育部直屬、工業和信息化部共建、首批進行“211工程”建設的全國重點大學' 2 try_words=jieba.cut(text,cut_all=True) 3 print ('全模式分詞結果:'+','.join(try_words)) 4 try_words=jieba.cut(text,cut_all=False) 5 print ('精確模式分詞結果:'+','.join(try_words)) 6 try_words=jieba.cut_for_search(text) 7 print ('搜素引擎模式分詞結果:'+','.join(try_words))
上述代碼運行結果：
全模式分詞結果:北京,北京郵電,北京郵電大學,郵電,郵電大學,電大,大學,是,教育,教育部,直屬,,,工業,和,信息,信息化,部,共建,,,首批,進行,,211,工程,,,建設,的,全國,重點,大學
精確模式分詞結果:北京郵電大學,是,教育部,直屬,、,工業,和,信息化,部,共建,、,首批,進行,“,211,工程,”,建設,的,全國,重點,大學
搜素引擎模式分詞結果:北京,郵電,電大,大學,北京郵電大學,是,教育,教育部,直屬,、,工業,和,信息,信息化,部,共建,、,首批,進行,“,211,工程,”,建設,的,全國,重點,大學
分析上述代碼得到的結果，我們看出全模式分詞是將文本當中所有的詞都提取出來，提詞的視窗是允許重疊和包含的，詞語當中的字眼可以出現多次，但是這種分詞模式有可能會出現歧義；精確模式分詞是將文本精確地分隔開，成詞較長的優先，不存在成詞視窗的重疊與重覆的情況，這種分詞模式出現歧義的概率比較小，但是有可能會出現分詞視窗過大，某些重點詞不會單獨出現在結果當中的情況。綜上所述，這兩種模式的分詞適用於不同的情景，應當酌情選擇。
值得一提的是，這個例子當中的“工業和信息化部”也應當是一個獨立的名詞，但是這三種分詞方法當中都沒有出現這個詞語，這就需要人工添加詞庫來實現，放在下一部分。
再對文本當中可能出現的歧義情況進行嘗試：
1 text2='南京市長江大橋是一座大橋' 2 try_words=jieba.cut(text2,cut_all=True) 3 print ('全模式分詞結果:'+','.join(try_words)) 4 try_words=jieba.cut(text2,cut_all=False) 5 print ('精確模式分詞結果:'+','.join(try_words)) 6 try_words=jieba.cut_for_search(text2) 7 print ('搜索引擎模式分詞結果:'+','.join(try_words))
這個例子當中的文本為“南京市長江大橋是一座大橋”，我們希望提取出來的分詞結果應當為：“南京市長江大橋”，或者說，最次也應該是“南京市”和“長江大橋”兩個詞語，上述代碼的運行結果為：
全模式分詞結果:南京,南京市,京市,市長,長江,長江大橋,大橋,是,一座,大橋
精確模式分詞結果:南京市,長江大橋,是,一座,大橋
搜索引擎模式分詞結果:南京,京市,南京市,長江,大橋,長江大橋,是,一座,大橋
分析結果：三種模式當中都沒有出現我們的最佳預期(南京市長江大橋)，反而在全模式和搜索引擎模式下的分詞結果當中出現了歧義詞(市長、京市)，這跟我們的語境顯然是無關的，這也恰好反映了全模式和搜索引擎模式分詞的一個缺陷，也就是容易出現與語境無關的歧義詞，而精確模式出現的比較少。
至於為什麼會出現上述情況，我在查閱相關資料之後，認為原因如下：
中文分詞的方法大致可以分為三類：基於字典、詞庫匹配的分詞方法；基於詞頻度統計的分詞方法和基於知識理解的分詞方法(另外還有逐詞遍曆法，但是因為不論文本有多麼短，詞庫多麼大都要逐詞遍歷一遍，效率過低，所以說大部分情況不予採用)。一般的中文分詞模塊使用基於字典、詞庫的分詞方法，全模式使用的策略為(設詞典中最長詞的長度為n)：從欄位的第一個字元開始，向後讀取1,2,...n個字元，並且到詞典當中去對應，如果能對應上，就將其取出來，這樣就可以達到將所有可以成詞的欄位提取出來(並且有重覆部分)的目的；而相應的，精確模式的分詞策略則可能是儘可能將取詞視窗擴大，也就是在可能含有重覆的長度從1到n的這些詞中，取最長的一個輸出。
(上述的“原因”只是我在使用分詞模塊的各個模式時的一點個人看法，不一定正確，對於項目也沒有什麼影響，畢竟我也沒有去專門研究過源碼。。。)
4.jieba分詞添加自定義的詞典
中文分詞常常用於許多特定的語境，相應的也就需要添加一些特定語境下的詞典，比如上一部分的“南京市長江大橋”就屬於“地標建築”之類的詞典，如果分詞將其分為“南京市”和“長江大橋”就有可能不能完全反映出原文本的重點(畢竟南京市的東西很多，長江大橋也不止南京市有)，這種時候我們就需要添加自定義的詞典來提高分詞的質量。
1 jieba.add_word('工業和信息化部')
使用jieba模塊的add_word()方法即可對其加入新的詞，插入之後的分詞結果如下：
全模式分詞結果:北京,北京郵電,北京郵電大學,郵電,郵電大學,電大,大學,是,教育,教育部,直屬,,,工業,工業和信息化部,信息,信息化,部,共建,,,首批,進行,,211,工程,,,建設,的,全國,
重點,大學
精確模式分詞結果:北京郵電大學,是,教育部,直屬,、,工業和信息化部,共建,、,首批,進行,“,211,工程,”,建設,的,全國,重點,大學
搜素引擎模式分詞結果:北京,郵電,電大,大學,北京郵電大學,是,教育,教育部,直屬,、,工業,信息,信息化,工業和信息化部,共建,、,首批,進行,“,211,工程,”,建設,的,全國,重點,大學
全模式分詞結果:南京,南京市,南京市長江大橋,京市,市長,長江,長江大橋,大橋,是,一座,大橋
精確模式分詞結果:南京市長江大橋,是,一座,大橋
搜索引擎模式分詞結果:南京,京市,市長,長江,大橋,南京市,南京市長江大橋,是,一座,大橋
主要的改變在於全模式和搜索引擎模式直接加入了這個詞，而精確模式則是將新加詞的子集詞(姑且這麼稱呼)取代了，這也符合上一部分的假設。
這大概就是第一天的成果了，內容其實是幾個月之前學習到的，今天拿出來整理一下，希望今後也可以繼續堅持下去吧。
