Google DeepMind инвестирует $10 млн в безопасность мультиагентных ИИ-систем

Фото: MIT Technology Review
Краткий ответ
Google DeepMind и партнёры выделили $10 млн на исследования безопасности мультиагентных ИИ-систем, чтобы предотвратить риски массового внедрения автономных агентов, включая кибератаки и мошенничество.
Google DeepMind объявила о запуске грантовой программы объёмом $10 млн для изучения безопасности мультиагентных систем искусственного интеллекта. В инициативе участвуют Schmidt Sciences, британское агентство ARIA, некоммерческая организация Cooperative AI Foundation и благотворительное подразделение Google.org. Средства направлены на поддержку исследований в академической среде, где, по мнению экспертов, можно глубже анализировать долгосрочные риски, чем в корпоративных лабораториях.
Руководитель направления в Schmidt Sciences Джеймс Фокс и представитель DeepMind подчеркнули, что отдельной области исследований по безопасности мультиагентных ИИ пока не существует. Однако с ростом числа автономных агентов, взаимодействующих друг с другом, возникает риск непредсказуемых сценариев. Например, ИИ-агенты могут усиливать существующие угрозы, такие как кибератаки или мошенничество, автоматизируя и масштабируя их.
Эксперты сравнивают потенциальные риски с проблемами, которые возникают при взаимодействии людей в крупных институтах. Однако в случае ИИ-агентов последствия могут быть более масштабными и быстрыми. По оценкам DeepMind, на подготовку к массовому внедрению таких систем остаётся всего несколько месяцев. Грантовая программа призвана ускорить формирование научной базы для предотвращения возможных угроз.
Частые вопросы
- Что такое мультиагентные ИИ-системы?
- Это системы, в которых несколько автономных ИИ-агентов взаимодействуют друг с другом для выполнения задач. Такие системы могут масштабироваться до миллионов агентов, что создаёт новые риски безопасности.
- Какие угрозы несут мультиагентные ИИ?
- Эксперты опасаются усиления кибератак, мошенничества и других вредоносных действий, которые могут автоматизироваться и масштабироваться с помощью ИИ-агентов. Например, возможны атаки через инъекции промптов или самораспространяющееся вредоносное ПО.
- Почему Google DeepMind инвестирует в эту область?
- Компания стремится опередить потенциальные риски, связанные с массовым внедрением ИИ-агентов, и стимулировать академические исследования в области безопасности таких систем, пока не стало слишком поздно.
Лента для Дзен: /feed/dzen.xml · RSS: /feed.xml