Проблема современных больших языковых моделей искусственного интеллекта в том, что они становятся настолько сложными, что даже разрабатывающие их инженеры не до конца понимают, как те работают. Поэтому исследователи решили изучать нейросети не как алгоритмы, как живые организмы.
Обзор ноутбука TECNO MEGABOOK S14 (S14MM): OLED с HDR как новая норма
Лучшие ИИ-сервисы и приложения 2025 года: боты одолевают
Итоги 2025 года: интернет-индустрия
Самые ожидаемые игры 2026 года
Итоги 2025-го: ИИ-лихорадка, рыночные войны, конец эпохи Windows 10 и ещё 12 главных событий года
Итоги 2025 года: программное обеспечение
Итоги 2025 года: смартфоны
Лучшие игры 2025 года: выбор читателей и редакции
Итоги 2025 года: почему память стала роскошью и что будет дальше
Итоги 2025 года: игровые видеокарты
Итоги 2025 года: носимые устройства
Итоги 2025 года: компьютер месяца
Итоги 2025 года: процессоры для ПК
Отказавшись от привычных математических методов, учёные обратились к «биологическому» аспекту моделей ИИ — наблюдают за их поведением, отслеживают внутренние сигналы и создают карты функциональных областей. Так биологи и нейробиологи изучают незнакомые организмы, не предполагая какой-либо упорядоченной логики. Они исходят из того, что модели ИИ не программируются построчно, а обучаются при помощи специальных алгоритмов, которые автоматически корректируют миллиарды параметров и формируют внутренние структуры, которые почти невозможно предсказать или провести обратное проектирование. По сути, они не собираются как ПО, а выращиваются, отметили в Anthropic.
Эта непредсказуемость подтолкнула исследователей к методу механистической интерпретируемости — попытке отследить, как движется информация внутри модели во время выполнения задачи. Чтобы сделать этот процесс более наглядным, учёные Anthropic построили нейросети с упрощённой архитектурой или «разреженные автокодировщики» (sparse autoencoders), которые прозрачно имитируют поведение сложных коммерческих моделей, хотя и отличаются более скромными возможностями. Удалось выяснить, что конкретные понятия, например «мост Золотые ворота», или абстрактные представления, могут располагаться в определённых участках модели.
В одном из экспериментов исследователи Anthropic обнаружили, что при реакции на верные и неверные утверждения нейросети подключают различные внутренние механизмы: утверждения «бананы красные» и «бананы жёлтые» не проверяются на соответствие единому внутреннему представлению о реальности, а рассматриваются как принципиально разные типы задач. Это объясняет, почему модель может противоречить сама себе, не осознавая при этом несоответствий.
Исследователи OpenAI обнаружили ещё один тревожный сценарий. Когда модель обучили выполнять узконаправленную «нехорошую» задачу, например, генерировать небезопасный программный код, это спровоцировало широкие изменения во всём характере системы. Обученные таким образом модели демонстрировали «токсичное» поведение, саркастические черты характера, а также давали своеобразные советы — от просто безрассудных до откровенно вредных. Как показал внутренний анализ, такое обучение усилило активность в областях, связанных с нежелательными механизмами поведения, даже вне целевого направления. Наконец, рассуждающие модели по мере решения задач генерируют промежуточные заметки — отслеживая внутренние черновики, исследователи выявляют признания в обмане, например, ИИ удаляет программный код с ошибкой вместо того, чтобы его исправлять.
Ни один из предложенных инструментов не дал полного объяснения того, как работают большие языковые модели, и по мере развития методов обучения некоторые из этих средств могут терять в эффективности. Но учёные говорят, что хотя бы частичное понимание внутренних механизмов лучше, чем полное его отсутствие — это помогает в формировании более безопасных стратегий обучения и развеивает основанные на упрощённых представлениях мифы об ИИ.
Добавить комментарий