校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃

主頁 > 知識庫 > 淺析常用分詞算法的比較與設想

淺析常用分詞算法的比較與設想

熱門標簽:手機地圖標注如何刪除 巫師3為什么地圖標注的財寶沒有 寧波自動外呼系統代理 辦理400電話證件 十堰正規電銷機器人系統 世紀佳緣地圖標注怎么去掉 外呼系統費用一年 外呼系統代理品牌 怎么給超市做地圖標注入駐店

與基于理解的分詞算法和基于統計的分詞算法相比,基于文本匹配的算法更加通用。基于文本匹配的算法又稱之為“機械分詞算法”,他是它是按照一定的策略將待分析的漢字串與一個“充分大的”機器詞典中的詞條進行配,若在詞典中找到某個字符串,則匹配成功,可識別出一個詞。按照掃描方向的不同,文本匹配分詞方法可以分為正向匹配和逆向匹配兩種;按照不同長度優先匹配的情況,可以分為最大(最長)匹配和最小(最短)匹配;按照是否與詞性標注過程相結合,又可以分為單純分詞方法和分詞與標注相結合的一體化方法。

  常用的幾種機械分詞方法如下:

  1) 正向最大匹配法(由左到右的方向)

  2) 逆向最大匹配法(由右到左的方向)

  3) 最少切分(使每一句中切出的詞數最小)。

  其他的還有將上述各種方法相互組合形成的分詞算法,例如,可以將正向最大匹配方法和逆向最大匹配方法結合起來構成雙向匹配法。由于漢語單字成詞的特點,正向最小匹配和逆向最小匹配一般很少使用。本文中著重討論正向最大匹配法和逆向最大匹配法。

  由于機械分詞算法的準確性取決于算法的準確性與詞庫完備性兩個方面。在本文中設想詞庫充分大,包含需要的詞語。

  一般說來,逆向匹配的切分精度略高于正向匹配,遇到的歧義現象也較少。統計結果表明,單純使用正向最大匹配的錯誤率為1/169,單純使用逆向最大匹配的錯誤率為1/245。但這種精度還遠遠不能滿足實際的需要。實際使用的分詞系統,都是把機械分詞作為一種初分手段,還需通過利用各種其它的語言信息來進一步提高切分的準確率。

  我們先看兩句中文:

  1) 長春市長春節致辭

  2) 長春市長春藥店

  我們假使詞庫中包含如下詞語“長春”,“長春市”,“市長”,“春節”,“致辭”,“春藥”,“藥店”,“春藥店”等。

  用正向最大匹配法得到的結果是:

  長春市/長春/節/致辭(分成4個詞,其中“節”未匹配到,語義錯誤)

  長春市/長春/藥店(分成3個詞,都匹配到,語義正確)

  用逆向最大匹配法得到的結果是:

  長春/市長/春節/致辭(分成4個詞,都匹配到,語義正確)

  長春/市長/春藥店(分成3個詞,都匹配到,語義錯誤)

  從此,我們可以看到正向最大匹配法和逆向最大匹配法的利弊所在:都能夠正確解釋部分中文,同時都有一些無法區分。

  是否可以考慮將這兩種匹配法結合起來,各取所長呢?答案是肯定的。

  首先,我們對同一個詞用正向最大匹配法和逆向最大匹配法分別切詞,再將結果進行比較。如切分“長春市長春節致辭”,因為正向最大匹配法有一個詞語無法匹配,故選擇使用逆向最大匹配法作為結果。

  其次,我們可以引入詞頻的概念,及每一個詞語都會根據其在漢語中出現的概率獲得一個詞頻值。我們對“長春市長春藥店”進行兩種方法的分詞,但是因為逆向最大匹配法得到的“春藥店”的詞頻相比于其他詞語的詞頻要低很多。我們可以認為這種分詞方法得到的結果不通用,取正向最大匹配法得結果。

  當然,還可以將其他的一些方法(如掃描標志法,詞性檢查法等)與這兩種匹配法相結合,以獲得更好更準確的分詞效果。

標簽:平涼 景德鎮 通遼 嘉興 牡丹江 天門 山西 泰州

巨人網絡通訊聲明:本文標題《淺析常用分詞算法的比較與設想》,本文關鍵詞  淺析,常用,分詞,算法,的,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《淺析常用分詞算法的比較與設想》相關的同類信息!
  • 本頁收集關于淺析常用分詞算法的比較與設想的相關信息資訊供網民參考!
  • 推薦文章
    校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃
    中文字幕日本不卡| 男女性色大片免费观看一区二区| 亚洲一区在线观看网站| 蜜桃视频一区二区三区| 91小视频在线| 国产欧美一区视频| 久久国产乱子精品免费女| 色网站国产精品| 国产日韩成人精品| 精品午夜一区二区三区在线观看| 91黄色小视频| **欧美大码日韩| 精品一区二区三区免费视频| 欧美性猛片xxxx免费看久爱| 国产精品的网站| 国产成a人亚洲精| 亚洲精品一区二区三区福利| 日韩国产欧美视频| 欧美人xxxx| 亚洲成av人片一区二区梦乃 | 色又黄又爽网站www久久| 久久久久久影视| 久久精品国产精品青草| 日韩三级在线观看| 日日摸夜夜添夜夜添国产精品| 91免费观看视频| 自拍偷自拍亚洲精品播放| 国产麻豆精品视频| 国产无一区二区| 国产成人av电影| 亚洲国产成人自拍| 99久久99久久精品免费观看| 中文字幕一区免费在线观看| 欧美三日本三级三级在线播放| 国产精品午夜久久| 91丨九色porny丨蝌蚪| 国产精品久久久久影院老司 | 91亚洲精品久久久蜜桃网站| 国产精品视频第一区| 北条麻妃一区二区三区| 中文字幕一区二区三区四区| 成人av第一页| 亚洲人成伊人成综合网小说| 欧美在线观看一区| 日本伊人精品一区二区三区观看方式| 欧美日韩国产精品自在自线| 日韩精品亚洲一区二区三区免费| 91精品免费在线| 国产一区二区三区电影在线观看| 国产校园另类小说区| 色综合色狠狠综合色| 亚洲国产精品久久不卡毛片| 日韩欧美亚洲国产另类| 国产成人综合视频| 亚洲欧美激情在线| 日韩一区二区在线免费观看| av在线这里只有精品| 亚洲激情图片小说视频| 欧美一级高清片| 成人午夜看片网址| 亚洲成人资源网| 国产婷婷精品av在线| 日本大香伊一区二区三区| 青青国产91久久久久久| 国产精品视频看| 7777精品伊人久久久大香线蕉超级流畅| 蜜桃视频免费观看一区| 国产精品网站一区| 制服丝袜亚洲网站| 成人看片黄a免费看在线| 亚洲成a人v欧美综合天堂| 久久久精品综合| 欧美精品久久99久久在免费线 | 亚洲国产裸拍裸体视频在线观看乱了 | 免费成人在线播放| 国产欧美一区二区精品忘忧草 | 成人午夜免费av| 丝袜脚交一区二区| 中文字幕一区二区三区蜜月| 在线91免费看| 91视频在线观看免费| 国模娜娜一区二区三区| 亚洲一区二区精品视频| 国产片一区二区| 日韩欧美国产系列| 欧美在线免费视屏| 99久精品国产| 国产一区二区网址| 日本成人在线看| 一区二区久久久| 国产精品久久久久久久久搜平片| 欧美成人性战久久| 欧美性受极品xxxx喷水| 99精品视频中文字幕| 国产一区视频在线看| 蜜臀久久99精品久久久画质超高清| 亚洲欧美日韩国产中文在线| 国产无人区一区二区三区| 欧美一级爆毛片| 91精品国产综合久久精品app| 99re在线精品| 成人免费高清在线观看| 成人黄色在线视频| 国产又黄又大久久| 韩国毛片一区二区三区| 久久国产夜色精品鲁鲁99| 亚洲福利一区二区三区| 一区二区三区在线视频播放| 自拍偷拍亚洲综合| 国产精品成人午夜| 1024国产精品| 一片黄亚洲嫩模| 亚洲一区成人在线| 亚洲福利视频一区二区| 亚洲成a人片在线观看中文| 亚洲电影你懂得| 日韩电影在线免费观看| 蜜桃一区二区三区在线观看| 久久国产人妖系列| 国产在线视频精品一区| 国产精品综合视频| 成人一级片在线观看| 不卡一区二区在线| 日本久久一区二区| 欧美日本一区二区三区| 欧美一区二区三区视频在线观看| 5月丁香婷婷综合| 久久欧美中文字幕| 国产精品初高中害羞小美女文| 国产精品久久福利| 日产国产欧美视频一区精品| 日韩精品一区第一页| 黄色成人免费在线| 福利一区在线观看| 91福利社在线观看| 日韩一卡二卡三卡四卡| 久久免费精品国产久精品久久久久| 欧美国产日本视频| 亚洲18女电影在线观看| 久草这里只有精品视频| 成人午夜视频网站| 欧美日韩一二区| 久久久综合视频| 亚洲靠逼com| 国产资源精品在线观看| 91在线小视频| 欧美成人一区二区三区在线观看 | 91精品婷婷国产综合久久| 精品国产乱子伦一区| 国产精品久久久久影视| 午夜不卡av免费| 国产成人精品三级| 欧美乱妇一区二区三区不卡视频| 久久综合九色综合97婷婷女人| 亚洲欧美一区二区三区国产精品| 久久精品久久综合| 在线精品观看国产| 国产女人18水真多18精品一级做| 日韩影院免费视频| 92精品国产成人观看免费| 精品国产制服丝袜高跟| 亚洲午夜久久久久久久久电影网| 国产成人av一区二区| 欧美年轻男男videosbes| 国产精品欧美久久久久一区二区| 首页欧美精品中文字幕| 一本一道久久a久久精品综合蜜臀| 日韩欧美激情在线| 首页国产欧美久久| 91国偷自产一区二区开放时间| 久久蜜臀中文字幕| 免费在线看成人av| 欧美三级午夜理伦三级中视频| 久久精品免视看| 经典一区二区三区| 在线播放国产精品二区一二区四区| 亚洲视频图片小说| 国产成人激情av| 欧美精品一区二区高清在线观看| 午夜欧美2019年伦理| 91色视频在线| 亚洲三级在线看| 91视频免费播放| 中文字幕一区二区在线播放| 国产一区欧美一区| 精品人在线二区三区| 免费成人在线观看| 欧美一区二区免费视频| 天天av天天翘天天综合网 | jlzzjlzz欧美大全| 欧美高清在线视频| 国产黄色91视频| wwwwxxxxx欧美| 国产一区欧美日韩| 欧美成人午夜电影| 精品一二三四在线| 精品国产123| 国产精品77777竹菊影视小说| 久久综合九色综合欧美就去吻| 国产一区二区三区电影在线观看|