Яндекс представил новое поколение визуальной нейронной сети — YandexART 2.0. Модель научилась:
- создавать надписи прямо на изображениях,
- придерживаться нескольких стилей в одном изображении,
- более естественно размещать предметы в пространстве и по отношению друг к другу,
- учитывать более подробную информацию о текстовом запросе во время генерации.
Пользователи могут использовать новые возможности для развития своего бизнеса, например: создать логотип бренда, этикетку продукта, иллюстрации для сайта и публикаций в социальных сетях, а предприятия — для повышения эффективности рекламных и маркетинговых кампаний.
О технологии ЯндексАРТ 2.0
ЯндексАРТ 2.0 основан на собственной разработке компании — новой гибридной модели архитектуры, сочетающей в себе качество работы сверточных и преобразующих нейронных сетей. Сверточная модель работает по принципу человеческого глаза и определяет важные особенности изображения: края, текстуры и формы. При этом нейросеть с такой архитектурой не может учитывать длинный контекст (поэтому ей сложно обрабатывать большое количество деталей в индустриальных текстах), а вот преобразователь это может.
Объединение этих двух моделей в ЯндексАРТ 2.0 позволило точнее отслеживать текстовые запросы. Таким образом, теперь он может придерживаться нескольких стилей в одном изображении и может, например, создавать фотореалистичную банку лимонада с персонажем аниме на этикетке.
ЯндексАРТ обучался на сотнях миллионов пар изображений и текстовых описаний.
Чтобы улучшить качество этих текстов и сделать их более точными, Яндекс использовал собственную модель VLM. Она проанализировала изображения и подробно описала, что в них содержится. ЯндексАРТ 2.0 обучался на расширенных данных, что помогло нейросети более детально учесть запрос пользователя.
Визуальные нейронные сети умеют генерировать отдельные буквы, но чтобы они начали формировать из них слова, требуется дополнительное обучение на большом количестве примеров.
Яндекс расширил обучающий набор данных YandexART 2.0 несколькими сотнями тысяч изображений с текстом. Так нейросеть научилась создавать на изображениях надписи латинскими буквами.
Для измерения качества нейросети Яндекс разработал новую систему рейтингов. Он включает в себя четыре основных параметра: актуальность, эстетичность, дефектность и сложность, то есть сложность и детализация изображения. Например, ЯндексАРТ 2.0 превзошел Midjourney v6.1 в 66% случаев по сложности, в 58% по эстетике и практически сравнялся по доле побед по релевантности запросам пользователей.
ЯндексАРТ для бизнеса
ЯндексАРТ 2.0 уже доступен на Облачная платформа Яндекс Облако. Его можно использовать через API для интеграции генерации изображений в ваши приложения, а также тестировать в демонстрационный режимвыбрать оптимальное промышленное изделие. Нейронная сеть лучше понимает запросы пользователей, позволяя предприятиям быстрее и качественнее создавать реалистичные изображения для маркетинговых и рекламных кампаний. Предприниматели смогут создавать иллюстрации для статей и социальных сетей, создавать баннеры или разрабатывать варианты брендинга одежды.
С помощью ЯндексАРТ 2.0 вы уже можете создавать реклама в Яндекс Директ. На данный момент 11% рекламодателей используют в сервисе изображения, созданные с помощью YandexART. По результатам экспериментов, использование нейроатак в сочетании с собственными креативами позволяет повысить эффективность рекламной кампании на 10-15%.
ЯндексАРТ для пользователей
Пользователи могут использовать ЯндексАРТ для общения с Алисой, когда включена опция Pro.
Алиса может не только генерировать изображения, но и добавить к нему и изменить его по желанию пользователя. Подсказки можно уточнить непосредственно в диалоговом режиме. Например, сначала скажите: «Алиса, нарисуй свечу ручной работы» и после получения результата добавьте: «Вокруг еловые ветки».
Алиса поможет создать аватар для социальных сетей или икона для приложения, логотип или принт на футболке, забавная открытка другу или иллюстрация к статье.
Пользователи, активировавшие опцию Alice Pro, могут создавать неограниченное количество изображений как в мобильных, так и в настольных версиях в разных форматах, а создание изображений займет всего несколько секунд.
Напомним, в начале сентября Яндекс запустил улучшенную версию YandexART для генерации коротких видеороликов. А в июле благодаря ЯндексАРТу в Masterpiece появилась возможность создавать клипы из видео, изображений и Фильтров.
Источник: пресс-релиз Яндекса
