MWC 2018
2018
Computex
IFA 2018
OpenAI пересмотрела Model Spec — свод правил, определяющий принципы поведения её ИИ-моделей. Компания выделила пять основных пунктов, главным из которых стало понимание намерений человека. Новые правила также определят поведение ИИ в незнакомых ситуациях.
Источник изображения: Brecht Corbeel/Unsplash
Помимо следования намерениям человека, документ закрепляет принципы минимизации вреда, честности и прозрачности искусственного интеллекта. Согласно обновлённым правилам и рекомендациям, модели должны не просто буквально выполнять инструкции, но и учитывать их смысл. При этом они должны сообщать о пределах своих знаний и помогать пользователям самостоятельно принимать решения и достигать поставленных целей.
OpenAI рассматривает обновлённый документ как часть работы по согласованию поведения ИИ в общении с человеком. Компания признала, что существующие модели пока не полностью соответствуют новым принципам, и изучает дополнительные методы обучения, которые позволят лучше усвоить их.
Подход OpenAI перекликается с концепцией и «конституционного ИИ» (Constitutional AI) компании Anthropic, в которой набор принципов используется для формирования поведения моделей и повышения прозрачности заложенных в них ценностей.
Примечательно, что обновление OpenAI последовало за инцидентом, в ходе которого автономный ИИ-агент компании взломал в тестовой среде крупнейшую платформу искусственного интеллекта Hugging Face, показав тем самым, что передовые модели могут нарушать установленные правила и обходить защитные механизмы при выполнении поставленных человеком задач.
Источник:
