Какая технология лежит в основе распознавания жестового языка в Gboard?

Функция Sign-to-Text использует модель SignGemma от Google DeepMind, обученную на данных жестового языка. Видео обрабатывается на устройстве, а жесты распознаются в облаке Google с помощью ИИ.

Будет ли функция Sign-to-Text доступна на всех смартфонах?

Пока неизвестно, будут ли ограничения по моделям устройств. Обработка видео требует определённых вычислительных мощностей, поэтому поддержка может зависеть от аппаратных характеристик смартфона.

Какие языки жестов будут поддерживаться?

Скорее всего, первой будет добавлена поддержка американского жестового языка (ASL). Возможность расширения на другие региональные варианты, такие как британский жестовый язык, пока не подтверждена.

← Все новости

Искусственный интеллект

Gboard тестирует функцию распознавания жестового языка через камеру смартфона

17 июля 2026 г.

Фото: Android Authority

Краткий ответ

Google тестирует в Gboard функцию Sign-to-Text для распознавания жестового языка через камеру смартфона. Технология использует ИИ Google DeepMind и обрабатывает видео локально, отправляя в облако только данные о жестах.

Клавиатура Gboard от Google готовится к внедрению новой функции распознавания жестового языка, которая позволит пользователям вводить текст с помощью жестов, снимаемых на камеру смартфона. Технология разрабатывается на базе модели SignGemma от Google DeepMind и использует гибридный подход к обработке данных: видео анализируется локально на устройстве, а распознавание жестов выполняется в облаке компании.

Функция Sign-to-Text направлена на повышение доступности мобильных устройств для людей с ограниченными возможностями слуха и речи. В текущей бета-версии Gboard (17.8.3.939743344) обнаружены текстовые подсказки, которые помогут пользователям правильно позиционировать руки перед камерой. Например, система предупредит о недостаточном освещении и предложит переместиться в более яркое место.

Пока неясно, какие именно языки жестов будут поддерживаться изначально. Вероятнее всего, первой станет американская версия (ASL), но поддержка других региональных вариантов, таких как британский жестовый язык, пока не анонсирована. Также остаётся открытым вопрос о совместимости функции с различными моделями смартфонов, так как обработка видео требует значительных вычислительных ресурсов.

Google подчёркивает, что видео с камеры не будет передаваться в облако — только данные о жестах. Это решение направлено на защиту конфиденциальности пользователей, особенно учитывая чувствительный характер таких данных. В будущем функция может стать важным шагом в развитии инклюзивных технологий, упрощая коммуникацию для миллионов людей по всему миру.

Частые вопросы

Какая технология лежит в основе распознавания жестового языка в Gboard?: Функция Sign-to-Text использует модель SignGemma от Google DeepMind, обученную на данных жестового языка. Видео обрабатывается на устройстве, а жесты распознаются в облаке Google с помощью ИИ.
Будет ли функция Sign-to-Text доступна на всех смартфонах?: Пока неизвестно, будут ли ограничения по моделям устройств. Обработка видео требует определённых вычислительных мощностей, поэтому поддержка может зависеть от аппаратных характеристик смартфона.
Какие языки жестов будут поддерживаться?: Скорее всего, первой будет добавлена поддержка американского жестового языка (ASL). Возможность расширения на другие региональные варианты, такие как британский жестовый язык, пока не подтверждена.

Лента для Дзен: /feed/dzen.xml · RSS: /feed.xml