Skip to content

v1.2.6用户词典优先级、CRF分词支持词典

Compare
Choose a tag to compare
@hankcs hankcs released this 17 Oct 03:01
· 1413 commits to master since this release
  1. 改进:自定义词典的优先级高于核心词典
  2. 大幅补充了简繁分歧词典,对简繁转换和繁体中文分词支持更好
  3. CoreStopWordDictionary不过滤null词性
  4. 为CRFSegment添加自定义词典支持
  5. 修复了BinTrie和SegmentWrapper的潜在问题
  6. 一些模型、词典的人工微调
  7. 数据包依然兼容data-for-1.2.4.zip