Специалисты Яндекса сравнили качество ответов YandexGPT 2 и GPT 3.5. Исследование показало, что в 63% случаев языковая модель Яндекса отвечает на запросы лучше, чем нейросеть OpenAI.
Исследование проводилось с использованием метода сравнения Side by Side (SBS). Обе нейронные сети ответили на один и тот же запрос, и тренеры ИИ выбрали лучший ответ, не зная, какая модель его сгенерировала. Корзина запросов сформирована из анонимных запросов пользователей сервисов Яндекса к YandexGPT 2. Она учитывает реальные потребности людей и охватывает множество тематик.
Алексей ГусаковТехнический директор Яндекс Поиска:
«Сравнения нейронных сетей необходимы не для получения абстрактных чисел в бенчмарке, а для решения проблем продукта, создания новых функций и развития бизнеса. Именно поэтому значительную часть корзины сравнения составили реальные запросы от наших сервисов.
Напомним, что Яндекс. копье В сентябре языковая модель YandexGPT 2 была улучшена. Модель может решать больше типов задач, чем первая версия нейросети, а качество ее ответов значительно улучшилось.
Начало декабря Яндекс созданный на основе YandexGPT 2, новой версии голосового помощника и открытых приложений для его бета-тестирования.
