Gemini навчився "бачити" екран Mac: що тепер уміє ШІ від Google

Розумне диктування без слів-паразитів

Перша новинка - функція "розумного диктування" (intelligent dictation), яка активована за замовчуванням для всіх користувачів Gemini на Mac.

На відміну від стандартного голосового введення, яке просто перетворює звуки на букви, розробка від Google автоматично поліпшує текст безпосередньо у місці розташування курсора.

Під час розпізнавання мови система миттєво видаляє з тексту мовленнєве "сміття" - паузи, затинання та зайві звуки.

Головна зручність полягає у тому, що функція працює у будь-якому вікні чи застосунку на Mac: достатньо натиснути клавішу Fn і почати говорити.

Це дозволяє надиктовувати чернетки листів, повідомлень або документи без необхідності переходити у вікно чат-бота чи вручну правити текст.

ШІ, який "бачить" екран

Друге оновлення отримало назву "розумний аналіз екрана" (screen-aware reasoning). На відміну від диктування, ця опція є добровільною, і користувачі мають увімкнути її в налаштуваннях самостійно.

Функція надає Gemini дозвіл аналізувати вміст вікон, відкритих на моніторі Mac.

Завдяки цьому асистент може виконувати комплексні завдання:

Зведення нотаток: якщо у вас відкрито застосунок із нотатками, затиснувши Fn, можна попросити ШІ: "Зроби з цього короткий підсумок для денної зустрічі".

Gemini зчитає текст з екрана, опрацює його та вставить готовий результат у потрібне місце.

Каскадні команди: можна попросити скласти лист, доручивши ШІ самостійно підтягнути дані з відкритих файлів.

Виправлення "на льоту": якщо у процесі диктування ви зміните думку (наприклад, скажете "Ні, перенеси зустріч з 18:30 на 19:00"), ШІ зрозуміє контекст і внесе корективи у підсумковий текст.

Загрози приватності та ризик "промпт-ін'єкцій"

Надаючи алгоритмам доступ до всього, що відбувається на робочому столі, користувач неминуче наражається на ризики для приватності та кібербезпеки.

Головна загроза для подібних ШІ-інструментів із розширеними правами - це так звані промпт-ін'єкції (prompt injection).

Хакери можуть ховати шкідливі команди на вебсайтах або в документах.

Якщо користувач попросить ШІ опрацювати таку сторінку, асистент сприйме приховану команду як вказівку від власника комп'ютера. В результаті ШІ може виконати шкідливу дію - наприклад, завантажити небезпечний файл чи спробувати отримати доступ до збережених даних.

Наразі оновлений Gemini для macOS розгортається глобально англійською мовою. Додавання підтримки інших мов у Google відбудеться пізніше.