Tech
[分享创造] 测了 1000 个中文大站的 llms.txt,只有 30 个放了真正的文件
前几天闲着没事,把 1000 个中文大站挨个抓了遍 /llms.txt ,想看看这帮大厂的 AI 准备工作做得咋样,结果挺有意思的。 1000 个站,真正放了 llms.txt 的,只有 30 个。3%。 剩下的是啥呢? 164 个返回 200 ,打开一看是网页壳——这个最坑,状态码看着没问题,AI 抓到的却是个壳,等于白给。412 个直接 404 。还有 390 个压根抓不到,WAF 拦的拦、超时的超时,这部分不算没有啊,别误会。 满分的有 9 个,B 站、Gitee 、魔搭、SHEIN 、TAPTap 、环球网这几个,确实做得认真。 说几个有意思的:百度,404 ,啥也没有。淘宝京东拼多多,返回 200 ,打开全是 HTML 壳。抖音,404 。字节的 Coze 倒是做了,但 50 分,74 个警告,链接重复一堆——做了跟做好是两码事。阿里系里面,唯一满分的是魔搭社区。 顺带还测了 100 个独立站,好一些,19% 有文件。不过博客圈只有 7%。毛病都差不多:链接光秃秃一个地址没描述,或者缺一句摘要,都是花半小时就能修好的小事。 测的时候顺手做了个小工具站 cetxt...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX