Тесты Meta для новых моделей ИИ немного вводят в заблуждение
Одна из новых флагманских моделей ИИ, выпущенных Meta в субботу, Maverick, занимает второе место на LM Arena, тесте, в котором оценщики-люди сравнивают результаты моделей и выбирают ту, которая им больше нравится. Но, похоже, версия Maverick, которую Meta развернула на LM Arena, отличается от версии, которая широко доступна разработчикам.
Как отметили несколько исследователей ИИ на X, Meta отметила в своем заявлении, что Maverick на LM Arena — это «экспериментальная версия чата». Между тем, таблица на официальном сайте Llama раскрывает, что тестирование LM Arena от Meta проводилось с использованием «Llama 4 Maverick, оптимизированного для общения».
Как мы уже писали ранее, по разным причинам LM Arena никогда не была самым надежным показателем производительности модели ИИ. Но компании ИИ, как правило, не настраивали или иным образом не дорабатывали свои модели, чтобы лучше оцениваться на LM Arena — или, по крайней мере, не признавались в этом.
Проблема с подгонкой модели под бенчмарк, ее утаиванием и последующим выпуском «ванильного» варианта той же модели заключается в том, что разработчикам сложно точно предсказать, насколько хорошо модель будет работать в определенных контекстах. Это также вводит в заблуждение. В идеале бенчмарки — какими бы ужасающе неадекватными они ни были — дают моментальный снимок сильных и слабых сторон одной модели в ряде задач.
Действительно, исследователи X наблюдали резкие различия в поведении публично загружаемого Maverick по сравнению с моделью, размещенной на LM Arena. Версия LM Arena, похоже, использует много эмодзи и дает невероятно длинные ответы.
Ладно, Llama 4 определенно немного приготовлен, лол, что это за город япов pic.twitter.com/y3GvhbVz65
— Натан Ламберт (@natolambert)
по какой-то причине модель Llama 4 в Arena использует гораздо больше эмодзи
вместе. ай, кажется лучше: pic.twitter.com/f74ODX4zTt
— Заметки технических разработчиков (@techdevnotes)
Мы обратились за комментариями к Meta и Chatbot Arena, организации, которая поддерживает LM Arena.