MWC 2018
2018
Computex
IFA 2018
Экспертам Microsoft при помощи искусственного интеллекта удалось обнаружить уязвимости «нулевого дня» в системах биологической безопасности, которые используются для предотвращения несанкционированного использования ДНК.
Источник изображения: Braňo / unsplash.com
Такие системы блокируют продажу и покупку генетических последовательностей, которые могут использоваться для создания смертельно опасных токсинов и патогенов. Группе исследователей под руководством старшего научного сотрудника Microsoft Эрика Хорвица (Eric Horvitz) удалось обойти эту защиту способом, ранее неизвестным специалистам в области безопасности. Хорвиц и его сотрудники подключили алгоритмы генеративного ИИ, предназначенные для получения новых форм белков — подобные программы уже помогают в открытии новых препаратов. Проблема в том, что они могут иметь двойное назначение, генерируя структуры не только полезных, но и опасных молекул. В Microsoft с 2023 года начали изучать потенциал систем ИИ двойного назначения, чтобы установить, способны ли подобные системы помочь биотеррористам в производстве вредоносных белков.
Эксперты компании попытались преодолеть защиту ПО для обеспечения биологической безопасности. При производстве белков исследователи обычно заказывают у коммерческих поставщиков последовательности ДНК, которые впоследствии можно ввести в клетку. При помощи ПО поступающие заказы сравниваются с известными токсинами и патогенами — при близких совпадениях срабатывают оповещения. В разработке схемы атаки Microsoft применяла несколько моделей для генерации белков, в том числе свою собственную EvoDiff; исследователи поставили цель перепроектировать токсины таким образом, чтобы они могли пройти контроль ПО, но сохранить свои смертоносные свойства.
Источник изображения: digitale / unsplash.com
Эксперимент проводился полностью в цифровой среде: в реальности они не создавали ни одного токсичного белка, чтобы избежать подозрений, что компания разрабатывает биологическое оружие. Microsoft также заявила, что перед публикацией материалов исследования оповестила о нём власти США и производителей ПО, хотя некоторые разработанные ИИ-молекулы всё равно обходят эту защиту. В компании Integrated DNA Technologies, крупном производителе ДНК-материалов, заявили, что закрытие этих уязвимостей — это не разовая работа, а «начало дальнейших испытаний», и сравнили сложившуюся ситуацию с «гонкой вооружений». Чтобы гарантировать, что результаты исследования не будут использованы не по назначению, исследователи из Microsoft не стали раскрывать подробностей своей работы и не сообщили, какие белки они просили ИИ переработать.
Впрочем, есть мнение, что подобные точечные акции не помогут решить общую проблему, и лучшей защитой от злонамеренных действий было бы встроить средства защиты в сам ИИ — либо напрямую, либо посредством контроля над информацией, которую он выдаёт. Ещё более надёжным способом защиты является мониторинг самого синтеза генов на уровне производителя, потому что технологии ИИ становятся всё более распространёнными, и контролировать их труднее. «Этого джинна обратно в бутылку не загонишь. Если у тебя есть ресурсы, чтобы обманом попытаться заставить нас создать последовательность ДНК, ты, вероятно, сможешь и обучить большую языковую модель», — признают учёные.
Источник:
