Что такое AutoTTS и как он работает?

AutoTTS — это фреймворк от Meta и Google, который автоматически находит оптимальные стратегии тестового масштабирования (TTS) для LLM. Он использует LLM-агентов (например, Claude Code) для алгоритмического поиска контроллеров, управляющих распределением вычислительных ресурсов во время инференса.

Какие преимущества даёт AutoTTS по сравнению с ручными стратегиями?

AutoTTS сокращает потребление токенов на 69,5% без снижения точности, а в некоторых случаях даже повышает производительность моделей. Он автоматизирует проектирование стратегий, устраняя необходимость ручной настройки эвристик и экономя время и ресурсы.

Как AutoTTS сокращает затраты на поиск оптимальной стратегии?

AutoTTS использует офлайн-среду для тестирования стратегий, анализируя заранее собранные траектории рассуждений. Это позволяет сократить затраты на поиск: весь процесс занял 160 минут и обошёлся в $39,90.

Какие модели поддерживает AutoTTS?

AutoTTS протестирован на моделях Qwen3 (от 0,6B до 8B параметров) и DeepSeek-R1. Он доступен на GitHub и может использоваться как замена существующим контроллерам TTS.

← 全部新闻

人工智能

研究人员自动化LLM推理策略设计，将令牌消耗降低69.5%

2026年5月29日

图片： VentureBeat

简要回答

AutoTTS от Meta и Google автоматизирует проектирование стратегий рассуждения LLM, сокращая потребление токенов на 69,5% без потери точности.

测试时扩展（TTS）是一种通过在推理阶段增加计算资源来提升大型语言模型（LLM）性能的方法。然而，TTS策略此前一直依赖手动设计，效率低且耗费工程师大量时间。新框架AutoTTS实现了这一过程的自动化，将策略设计转化为算法搜索任务。

AutoTTS的核心理念是将策略设计交由专门的LLM代理（如Claude Code）完成。该代理在预定义的环境中运行，环境中设定了搜索边界、优化目标（平衡准确性与成本）及反馈机制。代理无需手动创建分支规则或剪枝无前景的推理路径，而是自主测试并优化控制器——即管理计算资源分配的算法。

AutoTTS的关键优势在于使用离线环境测试策略。代理无需反复运行基础模型生成令牌，而是分析预先收集的推理轨迹及中间信号。这大幅降低了寻找最优策略的成本：整个过程耗时160分钟，成本仅39.90美元。最终诞生的Confidence Momentum Controller采用了非直观的机制，如跟踪置信度趋势而非瞬时值，并动态分配推理分支的资源。

在Qwen3（0.6B至8B参数）和DeepSeek-R1等模型的测试中，AutoTTS表现出色。在节省资源模式下，该框架将令牌消耗较基线Self-Consistency方法降低了69.5%，同时保持了准确性。在高预算模式下，AutoTTS在8项测试中的5项超越了所有手动策略。在GPQA-Diamond基准测试中，令牌消耗从510K降至151K，且准确性略有提升。该解决方案已在GitHub上开源，可直接替代现有TTS控制器。

常见问题

Что такое AutoTTS и как он работает?: AutoTTS — это фреймворк от Meta и Google, который автоматически находит оптимальные стратегии тестового масштабирования (TTS) для LLM. Он использует LLM-агентов (например, Claude Code) для алгоритмического поиска контроллеров, управляющих распределением вычислительных ресурсов во время инференса.
Какие преимущества даёт AutoTTS по сравнению с ручными стратегиями?: AutoTTS сокращает потребление токенов на 69,5% без снижения точности, а в некоторых случаях даже повышает производительность моделей. Он автоматизирует проектирование стратегий, устраняя необходимость ручной настройки эвристик и экономя время и ресурсы.
Как AutoTTS сокращает затраты на поиск оптимальной стратегии?: AutoTTS использует офлайн-среду для тестирования стратегий, анализируя заранее собранные траектории рассуждений. Это позволяет сократить затраты на поиск: весь процесс занял 160 минут и обошёлся в $39,90.
Какие модели поддерживает AutoTTS?: AutoTTS протестирован на моделях Qwen3 (от 0,6B до 8B параметров) и DeepSeek-R1. Он доступен на GitHub и может использоваться как замена существующим контроллерам TTS.

Dzen 订阅： /feed/dzen.xml · RSS： /feed.xml