Gemini Live Video: камера, обращенная к миру
Google очень медленно внедряет визуальные функции видео Gemini Live на базе Astra, но они начинают расширяться. Вот как это использовать и что вам нужно знать.
Компания предполагает, что появление элементов управления камерой и совместным использованием экрана является частью «апрельской версии Pixel Drop 2025 года», но незапланированный набор функций кажется странным, учитывая, что эта функция будет работать практически на любом телефоне Android.
Оглавление
- Gemini Live Astra: как получить доступ
- Каково это — использовать?
- Точность и другие соображения
- Камера, обращенная к миру… с оговорками
При запуске приложения Gemini на вашем телефоне Android всплывающее окно укажет, что функции Gemini Live на базе Astra готовы к тестированию. В мини-всплывающем окне говорится, что вы можете «обсуждать идеи, узнавать о своем окружении» или «получать помощь с тем, что находится на вашем экране». Последнее относится к функции совместного использования экрана, которая похожа на улучшенную версию Circle to Search.
Для доступа к любому из новых визуальных режимов вам понадобится подписка Google One AI Advanced. Если у вас есть Pixel 9 Pro, Pro XL, Pro Fold или некоторые модели Galaxy S25, вы получите существенную бесплатную пробную версию этого платного уровня. Пробная версия составляет 12 месяцев для моделей Pixel 9 Pro и 6 месяцев для устройств S25.
Google предоставил нам несколько способов доступа к новым элементам управления. Самый простой — через специальное приложение Gemini. Когда вы запускаете Gemini Live, обычный пользовательский интерфейс в стиле вызова получит несколько дополнительных кнопок. Есть кнопка камеры и значок презентации.
Вы можете использовать свой голос с фразой пробуждения «Привет, Google». Над компактной всплывающей панелью Gemini вы увидите кнопку «Поделиться экраном с Live», которая нажмет, чтобы начать совместное использование экрана с помощью ИИ. Вы пока не можете выбрать одно приложение. Вместо этого вам придется поделиться всем своим экраном. Для некоторых людей это может быть навязчивым. Чип в строке состояния укажет, что это активно. Нажатие позволяет вам быстро закрыть или завершить сеанс.
Первоначальный запуск и введение очень быстрые, но видоискатель открывается и очень легко разбирается. Он несколько имитирует пользовательский интерфейс камеры Pixel, поэтому он сразу знаком тому, кто пользовался телефонами Google некоторое время. Вам не обязательно использовать заднюю камеру. Есть переключатель для переключения на селфи-камеру, если вы хотите поместить себя или свой фон в кадр и задать вопросы или дать совет.
При использовании режима Gemini Live Astra я обнаружил, что фокусировка в камере немного капризна, так как автоматическое переключение объективов может раздражать вблизи. Он советует вам оставаться неподвижным или сохранять объект как можно более неподвижным. Я могу это подтвердить, но, несмотря на то, что некоторые объекты не находятся в фокусе, Gemini быстро определяет, что это такое, или выдает информацию без особых затруднений.
Невозможность приблизить изображение, даже с помощью специальных телеобъективов на вашем телефоне, также кажется близорукой. Если вы хотите указать на что-то в мире, вам придется подойти очень близко, или вы надеетесь, что Gemini поймет, на что вы указываете.
Для простых или базовых запросов этого вполне достаточно. Однако наилучшие варианты использования — более глубокие вопросы, например, помощь или совет по объектам, областям и местоположениям, а не простые вопросы, которые вы, вероятно, могли бы найти сами.
Яркий пример — получение калорийности продуктов питания или информации об аллергенах. Я даже пробовал некоторые переводы в реальном времени, но, хотя они, казалось, были довольно точными, Gemini Live не дает и не показывает текст на экране. Вы получаете только звуковые подсказки и ответы. Google Lens накладывает переведенный текст, поэтому он может быть лучшим вариантом для перевода знаков, текста и многого другого.
На данный момент вам нужно подождать, пока вы не закроете сеанс, прежде чем вы сможете «увидеть» некоторые текстовые ответы. Таким образом, вы получаете журнал чата, в котором записано, что было сказано, что ответил Gemini и какие действия вы можете предпринять. Это можно было бы реализовать немного лучше, но пока все в порядке. В тандеме с другими приложениями, такими как Google Maps и различными другими сервисами, вы, вероятно, могли бы использовать это как визуальное обучающее пособие или вариант руководства.
Я протестировал функции видеосъемки Gemini Live в стиле Astra на Pixel 9 Pro XL, и хотя они не всегда были мгновенными, они казались довольно плавными, а отклики почти всегда были достаточно быстрыми, чтобы казаться плавными.
Совместное использование экрана кажется немного менее «естественным», чем использование камеры. Поскольку вы не получаете визуальной обратной связи, только звуковые сигналы и информацию, это не ощущается интегрированным таким же образом. Получение сводок веб-страниц — это степень удобства использования функции или получение дополнительной информации без покидания страницы или экрана. Я бы поспорил, что это изменится по мере того, как мы получим больше интеграций. Подумайте о возможности добавлять вещи в списки покупок с URL-адресами или информацию о рейсах в ваш календарь при составлении планов путешествий. Мы пока не можем ничего из этого.
Как и почти все платформы ИИ, Gemini не является идеальной системой. На самом деле, она может ошибаться во многих сценариях. Где она преуспевает, так это в запоминании информации.
Я обнаружил, что некоторые предметы вызывали проблемы, когда Gemini не мог дать мне точную информацию. Это будет нормально для вещей, о которых вы знаете, и вы можете эффективно прерывать и корректировать курс своенравного ИИ. Проблема здесь в том, что галлюцинации о вещах, которые вы можете не знать так уж хорошо, могут привести к проблемам.
Например, я спросил о картридже для игры Gameboy, и Gemini неправильно идентифицировал картридж и дал мне совершенно неверную информацию о названии и игровом процессе. Убедившись, что у вас есть четкий обзор чего-либо в видоискателе, вы можете смягчить это. Простое изменение того, где я «снимал», мгновенно решило проблему без вмешательства. На этом этапе вы просто не можете слепо доверять информации. Gemini по-прежнему склонен к ошибкам, и они варьируются от незначительных до серьезных в равной степени.
Android XR и платформа дополненной реальности будут в значительной степени полагаться на Gemini как на средство взаимодействия и получения информации о мире вокруг нас. Gemini Live, использующая функции Astra, является первым шагом к достижению этой конечной цели. Согласно демонстрациям, показанным в конце прошлого года, мы можем быть в нескольких годах от очков дополненной реальности от Google, но это раннее знакомство — неплохой способ начать.
Как и в случае с любым продуктом ИИ, будьте осторожны, доверяя на 100% выдаваемой информации. Тем не менее, это кажется отличным началом и надежным способом взаимодействия с окружающим миром или помощи вам, когда вы застряли. Со временем он будет улучшаться и становиться лучше по мере введения новых точек данных, так что, по крайней мере, в теории, это худший из видеорежимов Gemini Live, который когда-либо будет – что не так уж и плохо для начала.
На данном этапе возможность поделиться экраном очень ограничена, и хотя это хорошая вторичная опция, она еще более ограничена. Если она сможет хорошо взаимодействовать с большим количеством других ваших сервисов, она станет полезным инструментом. Сейчас это салонный трюк, который делает не больше, чем обычный Gemini Live.