Tech
[OpenAI] Codex 雷达上线一段时间了,做个月度复盘
这本来是七月份的复盘,忙忙碌碌拖到今天,不过正好分布式雷达上线也快一个月了,也算一个月度复盘吧
毛两个月前,站长做了个 tibo 重置预告,针对 tibo 的推特进行分析来判断重置概率,在运行一段时间后我们发现大家在讨论重置之余,也总是诟病模型降智问题,因此我们一拍即合做了 codex 智商监测。
最早的时候,我们拿了现成的 SWE 评测标准,几个人凑了点号在后台每天运行测算模型 IQ ,得到一些基准数据并发布到网站上,没想到一经发布流量就爆了,原来也有很多小伙伴跟我们一样,对着经常货不对版的模型光烧 token 却得不到想要的结果。
再次运作一段时间后,蹬友们开始不满足于每日一出的 IQ 报告,我们增加了评测频率,希望能提供更有时效性的 IQ 指标。其实中途也有热心的中转大哥想支援我们一些 token ,但由于担心中转的模型不能直观有效地反应 oai 模型质量,我们商讨之后还是拒绝了,依然使用几个 20x 账号进行评测。
再再后来,我们的钱包实在撑不住了(服务器、流量、订阅等综合成本实在是高昂),为了分摊一些成本,我们不再增加订阅账号,而是新做了一个分布式雷达站点...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX