MWC 2018
2018
Computex
IFA 2018
Компания Google подробно описала свой подход к обеспечению безопасности пользователей в Chrome в связи с планами вскоре добавить в браузер агентские функции, анонсированные в сентябре.
Источник изображений: Google
Использование в браузере агентских функций, способных выполнять действия от имени пользователя, например бронировать билеты или совершать покупки, обеспечивает определённые удобства, но также сопряжено с рисками безопасности, которые могут привести к потере данных или денег.
Google отметила, что основная новая угроза, исходящая от злоумышленников для агентских браузеров, — это «непрямое внедрение подсказок» с целью «заставить агента выполнить нежелательные действия, такие как инициирование финансовых транзакций или кража конфиденциальных данных». Атака может «появляться на вредоносных сайтах, в стороннем контенте в iframe или в пользовательском контенте, например в отзывах».
Для контроля действий ИИ-агентов используется несколько моделей. Google создала модель User Alignment Critic на основе Gemini для тщательной проверки действий, сформированных моделью-планировщиком для конкретной задачи. Она «запускается после завершения планирования для повторной проверки каждого предложенного действия» и его одобрения или отклонения. Если запланированные задачи не отвечают целям пользователя, она просит модель-планировщик пересмотреть стратегию. Google отметила, что модель User Alignment Critic видит только метаданные предлагаемого действия, а не какой-либо неотфильтрованный, недостоверный веб-контент, что гарантирует невозможность его прямого заражения из интернета.
Чтобы предотвратить доступ агентов к запрещённым или ненадёжным сайтам, Google использует наборы источников Agent Origin Sets, которые ограничивают доступ модели к источникам только для чтения и к источникам, доступным для чтения и записи. В первом случае это данные, из которых Gemini разрешено получать контент. Например, на сайте интернет-магазина листинги подходят для решения задачи, а рекламные баннеры — нет. Аналогичным образом агенту разрешено кликать или вводить текст только в определённых iframe страницы.
«Такое разграничение гарантирует, что агенту доступны только данные из ограниченного набора источников, и эти данные могут быть переданы только на источники, доступные для записи. Это ограничивает вектор угрозы кросс-источниковых утечек данных. Это также даёт браузеру возможность применять часть этого разделения, например, даже не отправляя модели данные, находящиеся за пределами набора, доступного для чтения», — пояснила Google в блоге.
С помощью ещё одной модели — Observe — компания также контролирует навигацию по страницам, анализируя URL-адреса, что позволяет предотвратить переход на вредоносные URL, сгенерированные моделью.
При этом пользователи могут контролировать процесс: Gemini в Chrome «подробно описывает каждый шаг в рабочем журнале» с возможностью остановки и перехвата управления в любой момент.
Например, перед переходом на конфиденциальный сайт с такой информацией, как банковские или медицинские данные, агент запрашивает подтверждение пользователя. Для сайтов, требующих входа в систему, он запрашивает у пользователя разрешение на использование менеджера паролей Chrome (у агента нет прямого доступа к сохранённым паролям).
Также агент будет запрашивать подтверждение пользователя перед выполнением таких действий, как совершение покупки или отправка сообщения.
По словам компании, у неё также есть классификатор подсказок для предотвращения нежелательных действий, а также она тестирует возможности агентов по противодействию атакам, разработанным исследователями.
Источники:
