Рекомендации по проектированию промптов для генеративных моделей преобразования текста в изображение

Генеративные модели преобразования текста в изображение представляют собой новый и мощный способ создания визуальных произведений искусства. Однако открытый характер текста как средства взаимодействия имеет двойственную природу: с одной стороны, пользователи могут вводить что угодно и получать доступ к бесконечному множеству вариантов генерации, а с другой — при низком качестве результатов им приходится методом перебора экспериментировать с текстовым промптом. Мы проводим исследование, посвящённое тому, какие ключевые слова в промпте и гиперпараметры модели могут способствовать получению согласованных результатов. В частности, мы изучаем промпты, структурированные с включением ключевых слов, описывающих объект и стиль, и исследуем успешные и неудачные режимы работы таких промптов. Наша оценка 5 493 результатов генерации в ходе пяти экспериментов охватывает 51 абстрактный и конкретный объект, а также 51 абстрактный и образный стиль. На основе этой оценки мы предлагаем рекомендации по проектированию, которые могут помочь пользователям получать более качественные результаты от генеративных моделей преобразования текста в изображение.