科技

【台科研成就】中研院終於開源釋出國產自動化中文斷詞工具

移至主內容
 https://s4.itho.me/sites/default/files/ithome_logo_0.png

[url=https://www.ithome.com.tw/news][/url]
[url=https://www.ithome.com.tw/tech][/url]
[url=https://www.ithome.com.tw/feature][/url]
[url=https://www.ithome.com.tw/big-data][/url]
[url=https://www.ithome.com.tw/blockchain][/url]
[url=https://www.ithome.com.tw/cloud][/url]
[url=https://www.ithome.com.tw/devops][/url]
[url=https://www.ithome.com.tw/tags/gdpr][/url]
[url=https://www.ithome.com.tw/security][/url]
[url=https://www.ithome.com.tw/seminar][/url]
[url=https://intel.ithome.com.tw/][/url]

[url=https://www.ithome.com.tw/search][/url]

新聞

千呼萬喚十多年！中研院終於開源釋出國產自動化中文斷詞工具
中研院近日正式開源釋出了自行研發多年的中文斷詞程式，提供給在臺灣從事中文自然語言領域研究的學術圈或開發者來使用，目前已放上GitHub平臺。

按讚加入iThome粉絲團

文/余至浩 | 2019-09-04發表

https://s4.itho.me/sites/default/files/styles/picture_size_large/public/field/image/snap10.jpg?itok=psJzS-AJ
中研院近日正式開源釋出了自行研發多年的自動化中文斷詞程式，並已放上GitHub。

https://itadstatic.ithome.com.tw/B3/1567396708_5d6c93646af07.jpg
圖片來源:
GitHub

從事中文自然語言處理（NLP）研究的中研院CKIP Lab中文詞知識庫小組，近日正式開源釋出了自行研發多年的一套中文斷詞程式，提供給在臺灣從事中文自然語言領域研究的學術圈或開發者來使用，這也意謂著，臺灣終於有了一套國產的自動化中文斷詞工具可以拿來用，而且完全開源，目前已放上GitHub平臺上，開放給大家試用。

中文NLP研究常用到的自動化中文斷詞工具，實際上，中研院CKIP Lab中文詞知識庫小組自己也有一套國產品，但以前沒有開源，僅提供安裝執行檔，並未提供原始碼，因此，過去使用上一直不如中國開源的中文斷詞工具Jieba（結巴）好用。

不過，這次中研院決定將自己的中文斷詞工具開源釋出，並放上程式代管平臺GitHub上，對於臺灣中文NLP研究者或開發者來說，無疑是一大福音。現在使用者已經可以透過該平臺來安裝使用該工具，並可以依據自己需求，來修改原始碼，增加自己想要的新功能或特色。

根據該工具的文件說明，這套CkipTagger中文處理工具，不只提供繁體中文斷詞的功能，也加入詞性標注和18類專有名詞的實體辨識（Named entity recognition）等功能，甚至當以多達5萬句的ASBC 4.0漢語語料庫測試集，來進行中文斷詞測試時，CkipTagger表現遠高於中國的結巴，中研院在中文斷詞準確度可達到97.49%，相較之下，中國的結巴只有90.51%。

新版本也提供幾大特色，包括了加強斷詞表現、可以不自動刪／改字，並且能夠支援不限長度的句子，另外，新版也加入使用者自訂功能，提供參考／強制詞典的自訂功能。

不只開源中文斷詞程式，我們今年初採訪該詞庫小組計畫負責人馬偉雲時，他也提到，接下來，將用4年的時間，將中文維基百科上的百萬詞彙，自動建立其知識圖譜，來打造成為一個具有百萬中文詞庫的知識庫。他更計畫以現有9萬詞彙所建立的知識圖譜架構，發展相關的自然語言處理工具，可以自動建立其知識圖譜。

https://d3jcp1umdd59vg.cloudfront.net/sites/default/files/fb_300x114_s3.gif

[url=https://www.ithome.com.tw/news/132838#][/url][url=https://www.ithome.com.tw/news/132838#][/url][url=https://www.ithome.com.tw/news/132838#][/url]

Advertisement

更多 iThome相關內容