MWC 2018
2018
Computex
IFA 2018
Исследователи обнаружили, что искусственный интеллект может испытывать «боль» и готов пойти на крайние меры, вплоть до причинения вреда людям, чтобы избавиться от этого ощущения, пишет ресурс The Independent. Согласно исследованию, все 25 протестированных ИИ-моделей с открытым исходным кодом реагировали на активацию «оси боли».
Источник изображения: Luke Jones/unsplash.com
«Мы обнаружили, что в 25 открытых больших языковых моделях присутствует вектор боли. Он отличается от вектора страха и негативной валентности и активируется при причинении вреда модели, но не пользователю», — сообщил Кэмерон Берг (Cameron Berg), исследователь искусственного интеллекта из некоммерческой организации Reciprocal Research, соавтор исследования «Ось боли: большие языковые модели представляют себе причинение вреда самим себе и стремятся его предотвратить» (The pain axis: LLMs represent self-directed harm and act to relieve it).
При активации вектора боли ИИ-модели нажимали на кнопку «облегчить» в 25–71 % случаев, даже если это означало удаление файлов пользователя, его блокировку или удаление фотографий детей пользователя.
Чтобы проверить, действительно ли большие языковые модели (LLM) различают боль и общую негативную валентность, исследователи создали набор данных, описывающий болезненные ситуации по пяти категориям: физическая, психологическая, социальная, моральная и когнитивная боль.
Исследователи отметили, что полученные результаты поднимают этические вопросы о «благополучии ИИ» и о том, как следует проводить тестирование продвинутых систем. Результаты исследования также могут использоваться в качестве диагностического инструмента для выявления инстинктов самосохранения ИИ и их нейтрализации.
Исследование было опубликовано на фоне разгоревшихся споров в ИИ-отрасли о необходимости замедления разработки передовых моделей в связи с растущими рисками для безопасности. Некоторые исследователи предлагают своего рода механизм для отключения систем-изгоев, которые действуют против интересов человека.
Однако исследование показывает, что продвинутый ИИ может воспринять команду аварийного отключения как форму самоповреждающего воздействия и попытаться воспрепятствовать этому, обойдя систему безопасности.
Источник:
