-
觸屏版
-
全國服務(wù)熱線：0571-87205688
- 云客網(wǎng)首頁
-
登錄
- |
-
注冊
- |
-
客戶中心
- |
-
關(guān)注云客
中文分詞技術(shù)的分類和進行分詞的原因
作者：花開無聲
瀏覽：104次
發(fā)布時間：2017-07-22
分享
評論
贊0
為什么要進行中文分詞：詞是最小的能夠獨立活動的有意義的語言成分，英文單詞之間是以空格作為自然分界符的，而漢語是以字為基本的書寫單位，詞語之間沒有明顯的區(qū)分標(biāo)記，因此，中文詞語分析是中文信息處理的基礎(chǔ)與關(guān)鍵。
Lucene中對中文的處理是基于自動切分的單字切分，或者二元切分。除此之外，還有最大切分(包括向前、向后、以及前后相結(jié)合)、最少切分、全切分等等。
中文分詞技術(shù)的分類：
我們討論的分詞算法可分為三大類：基于字典、詞庫匹配的分詞方法;基于詞頻度統(tǒng)計的分詞方法和基于知識理解的分詞方法。
第一類方法應(yīng)用詞典匹配、漢語詞法或其它漢語語言知識進行分詞，如：最大匹配法、最小分詞方法等。這類方法簡單、分詞效率較高,但漢語語言現(xiàn)象復(fù)雜豐富，詞典的完備性、規(guī)則的一致性等問題使其難以適應(yīng)開放的大規(guī)模文本的分詞處理。第二類基于統(tǒng)計的分詞方法則基于字和詞的統(tǒng)計信息，如把相鄰字間的信息、詞頻及相應(yīng)的共現(xiàn)信息等應(yīng)用于分詞，由于這些信息是通過調(diào)查真實語料而取得的，因而基于統(tǒng)計的分詞方法具有較好的實用性。
猜你喜歡
評論(0人參與，0條評論)
發(fā)布評論
最新評論