这本来是七月份的复盘,忙忙碌碌拖到今天,不过正好分布式雷达上线也快一个月了,也算一个月度复盘吧 毛两个月前,站长做了个 tibo 重置预告,针对 tibo 的推特进行分析来判断重置概率,在运行一段时间后我们发现大家在讨论重置之余,也总是诟病模型降智问题,因此我们一拍即合做了 codex 智商监测。 最早的时候,我们拿了现成的 SWE 评测标准,几个人凑了点号在后台每天运行测算模型 IQ ,得到一些基准数据并发布到网站上,没想到一经发布流量就爆了,原来也有很多小伙伴跟我们一样,对着经常货不对版的模型光烧 token 却得不到想要的结果。 再次运作一段时间后,蹬友们开始不满足于每日一出的 IQ 报告,我们增加了评测频率,希望能提供更有时效性的 IQ 指标。其实中途也有热心的中转大哥想支援我们一些 token ,但由于担心中转的模型不能直观有效地反应 oai 模型质量,我们商讨之后还是拒绝了,依然使用几个 20x 账号进行评测。 再再后来,我们的钱包实在撑不住了(服务器、流量、订阅等综合成本实在是高昂),为了分摊一些成本,我们不再增加订阅账号,而是新做了一个分布式雷达站点...