The Visualization JUDGE: Могут ли мультимодальные фундаментальные модели направлять проектирование визуализаций через визуальное восприятие?

Фундаментальные модели для зрения и языка являются основой приложений ИИ в многочисленных секторах общества. Успех этих моделей обусловлен их способностью имитировать человеческие способности, а именно визуальное восприятие в моделях зрения и аналитическое рассуждение в больших языковых моделях. Поскольку визуальное восприятие и анализ фундаментальны для визуализации данных, в этой позиционной статье мы задаём вопрос: как можно использовать фундаментальные модели для продвижения в проектировании визуализаций? В частности, как мультимодальные фундаментальные модели (MFM) могут направлять проектирование визуализаций посредством визуального восприятия? Мы подходим к этим вопросам, исследуя эффективность MFM в восприятии визуализаций и формализуя общее пространство проектирования и оптимизации визуализаций. В частности, мы считаем, что MFM лучше всего рассматривать как судей, обладающих способностью критиковать визуализации и предлагать действия для их улучшения. Мы даём более подробную характеристику генеративных моделей от текста к изображению и мультимодальных больших языковых моделей, структурируя материал по тому, какой выход дают эти модели и как использовать этот выход для руководства проектными решениями. Мы надеемся, что наша позиция вдохновит исследователей в области визуализации на изучение подходов по использованию MFM для проектирования визуализаций.