Источник: techxplore.com
Ученые из Университета Райса предложили новый метод создания изображений с помощью предварительно обученных диффузионных моделей. Этот класс генеративных моделей ИИ "обучается" путем добавления слой за слоем случайного шума к изображениям, на которых они тренируются, а затем создают новые изображения, удаляя добавленный шум. Этот подход может помочь исправить проблемы, связанные с неправильной генерацией изображений.
Моаед Хаджи Али, аспирант кафедры компьютерных наук Университета Райса, описал новый подход под названием ElasticDiffusion в рецензируемой статье, представленной на конференции Института инженеров электротехники и электроники (IEEE) 2024 по компьютерному зрению и распознаванию образов (CVPR) в Сиэтле.
"Диффузионные модели, такие как Stable Diffusion, Midjourney и DALL-E, создают впечатляющие результаты, генерируя достаточно реалистичные и фотореалистичные изображения," - сказал Хаджи Али. "Но они имеют слабость: они могут генерировать только квадратные изображения. Поэтому в случаях, когда нужны другие соотношения сторон, например, для монитора или смарт-часов, эти модели становятся проблемными."
.
Если задать модели, такой как Stable Diffusion, создать неквадратное изображение, например, с соотношением сторон 16:9, элементы изображения начинают повторяться, что приводит к странным искажениям, таким как человек с шестью пальцами или чрезмерно вытянутый автомобиль.
Хаджи Али объясняет, что цифровой шум, который используют диффузионные модели, можно перевести в сигнал двух типов: локальный и глобальный. Локальный сигнал содержит информацию на уровне пикселей, например, форму глаза или текстуру шерсти собаки. Глобальный сигнал содержит общий контур изображения.
"Одна из причин, почему диффузионные модели имеют трудности с неквадратными соотношениями сторон, заключается в том, что они обычно объединяют локальную и глобальную информацию вместе," - объясняет Хаджи Али.
Метод ElasticDiffusion разделяет локальные и глобальные сигналы на условные и безусловные пути генерации. Затем условная модель вычитается из безусловной, получая оценку, которая содержит глобальную информацию об изображении. После этого безусловный путь с деталями на уровне пикселей применяется к изображению по квадрантам, заполняя детали квадрат за квадратом. Глобальная информация (соотношение сторон изображения, что именно изображено) остается отдельно, чтобы избежать повторений и ошибок.
"Этот подход является успешной попыткой использовать промежуточные представления модели для достижения глобальной согласованности," - отметил Висенте Ордоэньес-Роман, который консультировал Хаджи Али в его работе.
Единственным недостатком ElasticDiffusion по сравнению с другими диффузионными моделями является время. Сейчас на создание изображения по методу Хаджи Али требуется в 6-9 раз больше времени. Цель исследователей - уменьшить это время до уровня моделей, таких как Stable Diffusion или DALL-E.
"Я надеюсь, что это исследование поможет нам понять, почему диффузионные модели генерируют повторяющиеся элементы и не могут адаптироваться к различным соотношениям сторон," - сказал Хаджи Али.
