Tech
[问与答] 想做一个模型对比和评测网站,大家最希望它测什么?
大家好,我们最近在考虑做一个面向 AI 中转站的模型对比和评测网站。
现在市面上的中转站越来越多,各家的线路、价格、倍率和使用规则也不太一样。很多信息只看宣传页面很难判断,往往要实际充值、连续使用一段时间后,才能知道高峰期稳不稳定、响应速度怎么样、扣费是否清楚。
所以我们想尝试做一个相对公开、持续更新的评测网站,让大家在选择和充值之前,能先看到一些真实的测试数据,也能对比不同模型在真实使用场景下的输出效果。
目前初步想到的评测方向包括:
稳定性:请求成功率、超时率、429/5xx 错误率、高峰期表现
响应速度:首 Token 延迟、完整响应时间、输出速度
价格与扣费:公开价格、实际扣费、Token 统计是否一致
功能表现:上下文长度、缓存、流式输出、工具调用、多模态等
能力一致性:同一模型在不同时段的表现是否存在明显波动,以及是否存在掺水情况
兼容性:Claude Code 、Codex 、Cherry Studio 、CC Switch 等工具的接入体验
服务体验:文档完整度、故障公告、客服响应和退款规则
用户反馈:真实使用评价、常见问题和...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX