MWC 2018
2018
Computex
IFA 2018
Система модерации Discord на основе ИИ за последние два месяца заблокировала более 8000 пользователей после того, как загруженные ими изображения были ошибочно помечены как вредоносный контент.
Источник изображения: Mariia Shalabaieva/unsplash.com
Среди изображений, вызывавших ложные срабатывания, были электронные таблицы, шахматные доски, игровые текстуры и простые прозрачные фоны. Discord сообщила, что за минувшие выходные были заблокированы ещё 200 пользователей, прежде чем компания выявила и исправила проблему. Инцидент напоминает о том, что автоматическая модерация может нанести реальный ущерб, когда ИИ-системы проверки дают сбой.
По данным TechCrunch, Discord заявила, что её система предназначена для сопоставления загруженных изображений с базами данных известных вредоносных материалов. Когда система помечает контент как вредоносный, его должен проверить человек, прежде чем платформа предпримет какие-либо действия. Этот процесс проверки дал сбой. Издание The Verge сообщило, что ошибка привела к блокировке пользователей, помеченных, как публикующих вредоносный контент. Хотя на деле она должна была сначала обеспечить временную блокировку возможности загрузки контента в рамках проверки. Сервис Discord также сообщил, что другая ошибка препятствовала автоматическому снятию некоторых блокировок после того, как сотрудники проверили и посчитали аккаунты «чистыми».
Проще говоря, в Discord существует защита от ложных срабатываний, но рабочий процесс её применения не работал так, как положено. Для пользователей результат оказался плачевным: безобидные изображения приводили к блокировке их аккаунтов. Для Discord ошибка в системе проверки изображений стала нарушением доверия и безопасности, затронувшим тысячи аккаунтов, прежде чем её исправили.
Автоматизированные системы модерации могут работать быстрее, чем люди-модераторы, поэтому крупные платформы используют их для поиска вредоносного контента в больших масштабах. Риск возникает, когда автоматические сигналы запускают действия с аккаунтом до того, как проверка выявит ошибку.
Случай с Discord показывает, почему нельзя исключать человеческий контроль над ИИ. Если система может лишить аккаунт доступа до завершения проверки, командам платформы необходимы чёткие механизмы контроля, чтобы предотвратить превращение временного сигнала в полную блокировку. Платформа Discord заявляет, что уже исправила ошибку и сейчас восстанавливает затронутые аккаунты.
Источники:
