Tech
[分享创造] [开源] Wapic : 一个 C++17 CRF 中文分词工具
最近把自己写的中文分词工具 Wapic 整理并发布到了 PyPI ,想请大家试用、拍砖。
Wapic 是一个使用 C++17 实现的线性链 CRF 中文分词工具,提供 Python API ,也支持从头训练模型。
现在安装时会自动带上默认模型,不需要另外下载或现场编译:
pip install wapic
使用示例:
import wapic
seg = wapic.Segmenter()
print(seg.segment("中华人民共和国成立了"))
输出:
['中华人民共和国', '成立', '了']
目前支持:
CPython 3.9–3.14
Linux 、Windows 、Intel Mac 、Apple Silicon Mac
单句分词、BMES 标签和多核批量推理
加载自定义模型
SGD-L1 、L-BFGS/OWL-QN 训练
MIT License
发布模型在 PeopleDaily 和自建测试集上的 F1 分别为 98.01 和 97.95 。
模型约 30 MB...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX