Ученые -яндексы, с Высшей школой экономики, выразили его, Кауст и Иста, сделали прорыв в оптимизации моделей крупных языков (LLM). Эксперты разработали метод быстрого сжатия LLM без качества. Благодаря этому, чтобы работать с языковыми моделями, дорогими серверами и мощными графическими процессорами — смартфона или ноутбука.
Метод позволяет быстро проверять и внедрить новые решения в соответствии с нейронными сетями, сэкономить время и деньги для разработки. LLM становится более доступным для малых предприятий, непреодолимых лабораторий и учреждений, разработчиков и отдельных исследователей. Дорогое оборудование больше не необходимо.
Ранее, чтобы запустить языковую модель на смартфоне или ноутбуке, было необходимо сделать ее количественную оценку на дорогостоящем сервере, который занял от нескольких часов до нескольких недель. Теперь количественная оценка может быть выполнена непосредственно на телефоне или ноутбуке через несколько минут, говорится в сообщении Yandex.
Новый метод количественного определения называется Хиггсом (с английского языка. Адмардарда с гауссовыми сетками MSE-оптимизации). Это позволяет сжимать нейронную сеть без использования дополнительных данных и без сложной оптимизации параметров. Это особенно полезно в ситуациях, когда не хватает данных, подходящих для изучения модели. Метод обеспечивает баланс между качеством, размером модели и сложностью количественной оценки, которая позволяет использовать модели на различных устройствах.
В Yandex новый метод используется для прототипирования — создание рабочих версий быстрых продуктов и тестов идей: сжатые модели протестируются быстрее, чем их оригинальные версии.
За развитием метода последовали ученые из исследовательской лаборатории исследований искусственного интеллекта Yandex, Высшей школы экономики, Массачусетского технологического института (MIT), Австрийского института наук и технологий (ISTA) и научного и технологического университета, назначенного в соответствии с королем Абдуллой (Kaust).
Метод Хиггса уже доступен для разработчиков и исследователей на Лицо И ЖирубПолем
Напомним, что в прошлом году Yandex разработал решение, которое позволит компании сократить затраты на введение нейронных сетей восемь раз.
Источник: пресс -релиз Yandex
