Tech
[分享发现] 不公平不严谨单一任务评估 LLM
目前有一个优化代码执行速度的任务,是个重度多卡并行任务, 我使用多个 LLM 阅读同一任务 md 从零启动写代码自己执行文件直到认为自己完成目标, 整理之后进行统一评估 使用了 11 个模型, cc-opus5-max cc-opus5-medium codex-sol-max codex-sol-medium geminicli-gemini-3.8flash grok-grok-4.6 dsh-deepseek-v4flash dsh-deepseek-v4pro cc-glm5.3-flash cc-glm5.3 cc-qwen3.8max 花费: glm5.3 花了 18 块没干完, 5.3flash 1 元多, 还用了 5.1 思考 qwen10 块没干完, dsv4flash 1 块, v4pro 5 块, 外国模型使用中转站: opus5 一共 8.6, solmax 有一次看到答案了重新测试 一共 30, grok 0.4, gemini 1 统一重度压力评估速度: glm5.3flash > codex-sol-max(自己跑其他文件夹看到了答案...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX