最近把自己做的中文 BERT 项目整理了一下，叫 BERTc ： GitHub： https://github.com/Ismantic/BERTc Hugging Face： https://huggingface.co/Ismantic/BERTc-315M 它不是在现有中文 BERT 上继续训练，而是从随机初始化开始做了一遍完整流程： 语料下载和加工、词表、预编码、预训练、下游微调、评测、导出 HF 发布包。 165M 和 315M 两个规格，以及对应的多任务分析和拼写纠错模型都已经发布。 我做这个项目，主要是想回答一个问题：个人开发者能不能用一张消费级显卡， 把一个中文基础模型从数据一路做到可验证的下游结果，而不是只留下训练脚本和 一条 Loss 曲线？ 目前的答案是可以。单张 RTX 4090 上，从零预训练大约需要 3 ～ 5 天，数据准备 另需约 8 小时；从已经发布的 backbone 开始微调，则是几个小时。仓库没有多卡 路径，模型和训练代码的 src/ 只依赖 PyTorch 。 为什么是字级 BERTc 的词表大小...