Система модерации Discord на основе ИИ за последние два месяца заблокировала более 8000 пользователей после того, как загруженные ими изображения были ошибочно помечены как вредоносный контент.
Репортаж с IEM Cologne Major 2026: Жаб Жабыч, триумф NiKo и главные сенсации мейджора по CS2
Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей
Умные помощники: обзор ИИ-сервисов для обработки изображений. Часть 2, актуализированная
Обзор Infinix GT 50 Pro: геймерский смартфон со встроенной СЖО
Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем
Среди изображений, вызывавших ложные срабатывания, были электронные таблицы, шахматные доски, игровые текстуры и простые прозрачные фоны. Discord сообщила, что за минувшие выходные были заблокированы ещё 200 пользователей, прежде чем компания выявила и исправила проблему. Инцидент напоминает о том, что автоматическая модерация может нанести реальный ущерб, когда ИИ-системы проверки дают сбой.
По данным TechCrunch, Discord заявила, что её система предназначена для сопоставления загруженных изображений с базами данных известных вредоносных материалов. Когда система помечает контент как вредоносный, его должен проверить человек, прежде чем платформа предпримет какие-либо действия. Этот процесс проверки дал сбой. Издание The Verge сообщило, что ошибка привела к блокировке пользователей, помеченных, как публикующих вредоносный контент. Хотя на деле она должна была сначала обеспечить временную блокировку возможности загрузки контента в рамках проверки. Сервис Discord также сообщил, что другая ошибка препятствовала автоматическому снятию некоторых блокировок после того, как сотрудники проверили и посчитали аккаунты «чистыми».
Проще говоря, в Discord существует защита от ложных срабатываний, но рабочий процесс её применения не работал так, как положено. Для пользователей результат оказался плачевным: безобидные изображения приводили к блокировке их аккаунтов. Для Discord ошибка в системе проверки изображений стала нарушением доверия и безопасности, затронувшим тысячи аккаунтов, прежде чем её исправили.
Автоматизированные системы модерации могут работать быстрее, чем люди-модераторы, поэтому крупные платформы используют их для поиска вредоносного контента в больших масштабах. Риск возникает, когда автоматические сигналы запускают действия с аккаунтом до того, как проверка выявит ошибку.
Случай с Discord показывает, почему нельзя исключать человеческий контроль над ИИ. Если система может лишить аккаунт доступа до завершения проверки, командам платформы необходимы чёткие механизмы контроля, чтобы предотвратить превращение временного сигнала в полную блокировку. Платформа Discord заявляет, что уже исправила ошибку и сейчас восстанавливает затронутые аккаунты.
Добавить комментарий