1、用 Chih-Hao Tsai 的 MMSeg 算法(http://technology.chtsai.org/mmseg/)实现的中文分词器,并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。
2、MMSeg 算法有两种分词方法:Simple和Complex,都是基于正向最大匹配。Complex 加了四个规则过虑。官方说:词语的正确识别率达到了 98.41%。
3、在 com.chenlb.mmseg4j.example包里的类示例了两种分词效果。
4、在 com.chenlb.mmseg4j.analysis包里扩展lucene analyzer。MMSegAnalyzer默认使用complex方式分词。
5、在 com.chenlb.mmseg4j.solr包里扩展solr tokenizerFactory。
在 solr的 schema.xml 中定义 field type如:
<fieldType name="textComplex" class="solr.TextField" >
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" dicPath="dic"/>
</analyzer>
</fieldType>
<fieldType name="textSimple" class="solr.TextField" >
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="my_dic"/>
</analyzer>
</fieldType>
dicPath 指定词库位置(每个MMSegTokenizerFactory可以指定不同的目录,当是相对目录时,是相对 solr.home 的目录),mode 指定分词模式(simple|complex,默认是complex)。
6、运行,词典用mmseg.dic.path属性指定或在当前目录下的data目录,默认是 ./data 目录。
java -Dmmseg.dic.path=./data -jar mmseg4j-1.0.jar 这里是字符串
或
java -cp .;mmseg4j-1.0.jar com.chenlb.mmseg4j.example.Simple 这里是字符串
7、一些字符的处理
英文、俄文、希腊、数字(包括①㈠⒈)的分出一连串的。目前版本没有处理小数字问题
如ⅠⅡⅢ是单字分,字库(chars.dic)中没找到也单字分。
8、词库:
* data/chars.dic 是单字与语料中的频率,一般不用改动。
* data/words.dic 是词库文件,一行一词,当然你也可以使用自己的,也可以使用 sogou 词库,目录是 rmmseg 带的词库。
分享到:
相关推荐
欢迎下载mmseg4j分词器jar包
mmseg4j分词器,版本1.9,内涵词库,位于加压后的data.zip中
兼容solr4.10.3的mmseg4j-1.9.1分词器
mmseg4j-solr-2.3.0.jar 支持 solr5.x 版本以上 分词器本身并未做升级还是mmseg4j-core-1.10.0 和 mmseg4j-analysis-1.9.1.jar为了方便也一并上传
ansj、mmseg4j和ik-analyzer的评估程序 博文链接:https://yangshangchuan.iteye.com/blog/2056537
NULL 博文链接:https://iamyida.iteye.com/blog/2221224
mmseg4j分词,比较精确,可以跟lucene里面用
mmseg4j-1.9.1 分词器 包含修复bug的mmseg4j-analysis-1.9.1.jar dist\修复bug下是修复bug后的mmseg4j-analysis-1.9.1.jar
与solr4.8匹配的mmseg4j分词器的版本
能兼容solr-4.10.2的分词器,大礼包...包括IK分词器,mmseg4j分词器,庖丁分词器.都是经本人测试可用,其中mmseg4j与庖丁都是下载源码,修改重编译并测试生成的.希望大家喜欢.至于与solr的整合方式,网上很多,这里就不介绍了.
mmseg4j中文分词器
mmseg4j用Chih-Hao Tsai 的MMSeg算法实现的中文分词器,并实现lucene的analyzer和solr的TokenizerFactory以方便在Lucene和Solr中使用。 MMSeg 算法有两种分词方法:Simple和Complex,都是基于正向最大匹配。Complex...
中文分词器 mmseg4j1.9.1.zip 配合solr 使用
mmseg4j-1.8.5中文分词器API
mmseg4j-solr-2.3.0-with-mmseg4j-core是Solr的中文分词包,该压缩包含有mmseg4j-core-1.10.0.jar和mmseg4j-solr-2.3.0.jar。
mmseg4j中文分词器 mmseg4j-core-1.10.0.jar mmseg4j-solr-2.3.0.jar两个主要依赖包
mmseg4j-core-1.10.0,非常好用的中文分词器
mmseg4j1.8.4分词工具,可以方便的集成在lucene后者solr中。
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="dic"/> <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" /> ...