为什么AI模型基准测试无法反映实际使用成本

阿里巴巴近期发布Qwen 3.8-Max模型，将其定位为AI系统领军者。但独立测试（VulcanBench框架）显示，结果对测试条件极为敏感。阿里巴巴为模型提供长达12小时的任务执行时间，而VulcanBench仅设45–60分钟限制。这一差异导致Qwen 3.8-Max在标准设置下仅达中等水平，默认配置下表现更差。

核心问题在于传统指标如每Token成本无法反映实际运营成本。例如，模型可能在推理阶段耗尽Token却无法给出答案，导致空响应并需为失败尝试全额付费。Artificial Analysis研究发现，DeepSeek-V4-Flash在最高设置下Token使用量是平均水平的两倍，但因Token单价低廉，总成本仍维持低位。

专家建议采用按成功付费的成本核算方式，将所有支出（含失败尝试）纳入考量。这对推理密集型模型尤为重要，因Token或时间超支常导致失败。在Long-Horizon-Terminal-Bench测试中，79%的失败源于超时而非模型错误。

标准请求路由策略也存在低效问题。在失败后升级至更昂贵模型并不保证更好结果——有时仅增加预算却无改善。HubSpot与Zendesk等公司已转向按成功付费模式，以更精准评估AI效率。

为提升透明度，建议记录失败原因（如预算超支或验证错误），以精准定位需优化的模型性能环节。默认设置可能并非最优：Qwen 3.8-Max的默认最高推理级别在独立测试中表现不佳。