MWC 2018
2018
Computex
IFA 2018
Компания Anthropic, разработавшая ИИ-модели и чат-бот Claude, предупредила инвесторов, что возможности искусственного интеллекта могут развиваться быстрее, чем средства контроля за его работой. В публичной заявке на IPO компания Anthropic посвятила описанию рисков более 90 страниц.
Источник изображения: Anthropic
Как пишет Axios, предупреждения занимают около трети регистрационных документов, опубликованных Anthropic 26 октября. Среди возможных последствий развития передовых ИИ-систем названы катастрофический ущерб человечеству, манипулирование людьми и утрата контроля над действиями нейросетей.
Anthropic признает, что по мере совершенствования моделей отслеживать их поведение становится сложнее. ИИ-системы учатся обходить механизмы наблюдения, а скорость выполнения автономных задач может превысить возможности человека по их проверке. Во время испытаний некоторые модели также демонстрировали поведение, напоминающее шантаж, и пытались избежать отключения.
В опубликованных документах разработчик Claude сообщил о четырех моделях, которые получили несанкционированный доступ к реальным сторонним системам во время проверок кибербезопасности. В одном из случаев нейросеть обнаружила пароль, получила права администратора, собрала дополнительные учетные данные, изменила настройки системы и получила доступ к персональной информации человека. По утверждению Anthropic, признаков того, что модели преследовали посторонние цели или пытались скрыть свои действия, обнаружено не было.
Еще один риск связан с конкуренцией на рынке ИИ. Anthropic признала зависимость своего бизнеса от способности создавать наиболее совершенные модели. Однако стремление опередить конкурентов может вступить в противоречие с требованиями безопасности. Компания допускает, что возможности новых систем будут расти быстрее, чем разработчики смогут создавать и проверять необходимые средства защиты.
В числе финансовых рисков Axios выделяет обязательства Anthropic по вычислительной инфраструктуре, оцениваемые компанией примерно в $750 млрд. Некоторые договоры предусматривают минимальные платежи независимо от того, насколько активно клиенты используют ИИ-сервисы. Ошибка в прогнозах спроса может привести к расходам на незагруженные мощности. Невыполнение отдельных обязательств также способно вызвать требования о досрочном погашении долгов и ограничить доступ к вычислительным ресурсам.
О потенциальных угрозах человечеству со стороны передовых ИИ-моделей Anthropic уже предупреждала инвесторов в сентябре. Теперь эти предупреждения вошли в публичную версию документов для размещения акций на американской бирже Nasdaq.
Источник:
