Microsoft утверждают, что разработали сверхэффективную модель ИИ
Исследователи Microsoft утверждают, что на сегодняшний день они разработали самую масштабную 1-битную модель ИИ, также известную как «bitnet». Названная BitNet b1.58 2B4T, она доступна в открытом доступе по лицензии MIT и может работать на процессорах, включая M2 от Apple.
Bitnets — это по сути сжатые модели, разработанные для работы на легком оборудовании. В стандартных моделях веса, значения, которые определяют внутреннюю структуру модели, часто квантуются, чтобы модели хорошо работали на широком диапазоне машин. Квантование весов снижает количество битов — наименьших единиц, которые может обработать компьютер, — необходимых для представления этих весов, что позволяет моделям работать на чипах с меньшим объемом памяти и быстрее.
Битовые сети квантуют веса всего по трем значениям: -1, 0 и 1. Теоретически это делает их гораздо более эффективными с точки зрения использования памяти и вычислений, чем большинство современных моделей.
Исследователи Microsoft утверждают, что BitNet b1.58 2B4T — это первая битовая сеть с 2 миллиардами параметров, причем «параметры» в значительной степени являются синонимами «весов». Обученная на наборе данных из 4 триллионов токенов — что, по одной из оценок, эквивалентно примерно 33 миллионам книг — BitNet b1.58 2B4T превосходит традиционные модели аналогичных размеров, утверждают исследователи.
BitNet b1.58 2B4T не сметает пол с конкурирующими моделями с 2 миллиардами параметров, если быть точным, но, похоже, она держится сама. Согласно тестированию исследователей, модель превосходит Llama 3.2 1B от Meta, Gemma 3 1B от Google и Qwen 2.5 1.5B от Alibaba в тестах, включая GSM8K (коллекция математических задач уровня начальной школы) и PIQA (тестирует навыки физического здравого смысла).
Но, пожалуй, еще более впечатляющим является то, что BitNet b1.58 2B4T быстрее других моделей такого же размера (в некоторых случаях вдвое быстрее), при этом используя лишь малую часть памяти.
Однако здесь есть одна загвоздка.
Достижение этой производительности требует использования пользовательского фреймворка Microsoft, bitnet.cpp, который в настоящее время работает только с определенным оборудованием. В списке поддерживаемых чипов отсутствуют графические процессоры, которые доминируют в ландшафте инфраструктуры ИИ.
Это все, что говорит о том, что битнеты могут быть многообещающими, особенно для устройств с ограниченными ресурсами. Но совместимость является — и, вероятно, останется — большим камнем преткновения.