Крупномасштабные модели генерации изображений по тексту для творческой работы визуальных художников

Крупномасштабные модели генерации изображений по тексту (Large-scale Text-to-Image Generation Models, LTGMs), такие как DALL-E, представляют собой модели глубокого обучения с самоконтролем, обученные на огромных наборах данных и способные генерировать высококачественные изображения открытой предметной области на основе мультимодального ввода. Хотя LTGMs могут создавать антропоморфизированные версии объектов и животных, правдоподобно комбинировать несвязанные концепции и генерировать вариации предоставленных пользователем изображений, стремительное развитие технологий оставило многих визуальных художников в неопределённости относительно более активного использования LTGMs в своей творческой работе. Цель данного исследования — понять, как визуальные художники используют LTGMs для поддержки своей творческой работы. Для этого были проведены интервью и систематический обзор литературы, включавший 72 статьи о системах и приложениях. В общей сложности 28 визуальных художников, представляющих 35 различных направлений визуального искусства, признали универсальность и высокую удобность использования LTGMs для поддержки творческой работы посредством автоматизации процесса создания (то есть автоматизации), расширения идей (то есть исследования) и содействия коммуникации или посредничества в ней (то есть медиации). В заключение представлены четыре рекомендации по проектированию, которыми будущие исследователи смогут руководствоваться при разработке интеллектуальных пользовательских интерфейсов на основе LTGMs.