Skip to content

v1.2.0新增TnT分词器

Compare
Choose a tag to compare
@hankcs hankcs released this 07 May 13:42
· 1544 commits to master since this release
  1. 分词器支持数词和数量词识别
  2. 消除CRF分词对句子开头的词语的错误合并
  3. 实现了一个基于HMM2-Trigram字符序列标注的分词器
  4. 加入了一些防止缓存不兼容的安全措施
  5. 词典减肥,新增TnT模型:data-for-1.2.0.zip
  6. 重构分词器
    image