Яндекс выложил в открытый доступ свою библиотеку YaFSDP. Это ускоряет обучение больших языковых моделей с открытым исходным кодом до 25%. Библиотека YaFSDP может использоваться разработчиками, предприятиями и исследователями по всему миру.
YaFSDP предназначен для больших языковых моделей, но подходит и для других нейронных сетей. Например, его можно использовать для ускорения обучения нейронных сетей, предназначенных для генерации изображений. Библиотека поможет снизить стоимость оборудования для обучения моделей и снизить потребление ресурсов графического процессора.
Одной из сложностей обучения больших языковых моделей является недостаточная нагрузка на каналы связи между графическими процессорами. ЯФСДП решает эту проблему. Библиотека оптимизирует использование ресурсов графического процессора на всех этапах обучения: предварительное обучение, контролируемая отладка (с преподавателем), выравнивание (выравнивание модели). Благодаря этому YaFSDP использует ровно столько видеопамяти, сколько необходимо для обучения, при этом ничто не замедляет связь между графическими процессорами, поясняют в Яндексе.
Яндекс протестировал библиотеку на сторонних нейросетях с открытым исходным кодом. YaFSDP обеспечивает ускорение до 25% в зависимости от архитектуры и настроек нейросети.
Исходный код YaFSDP уже доступен на GitHub.
Напомним, ранее Яндекс представил новую версию машинного перевода, обученную с помощью YandexGPT.
Источник: пресс-релиз Яндекса
