17.04.2025
В Microsoft разработали сверхэффективную ИИ-модель, которая запускается на CPU
Без рубрикиadminИсследователи из Microsoft сообщили о разработке самой масштабной однобитной модели искусственного интеллекта — такой архитектурный подход называется «битнет». Модель BitNet b1.58 2B4T выложена в открытый доступ по лицензии MIT, и для её работы достаточно центрального процессора, в том числе Apple M2. Системы «битнет» — это сжатые модели, предназначенные для запуска на оборудовании невысокой производительности. В случае стандартных моделей веса — значения, которые определяют её внутреннюю структуру, — зачастую квантуются. При квантизации уменьшается количество битов, необходимых для представления весов, а модели получают возможность быстрее работать на системах с меньшим объёмом памяти. […]