Visual ChatGPT: общение, рисование и редактирование с использованием визуальных базовых моделей

ChatGPT привлекает междисциплинарный интерес, поскольку предоставляет языковой интерфейс с выдающимися возможностями ведения диалога и рассуждения в различных областях. Однако, поскольку ChatGPT обучен на языковых данных, в настоящее время он не способен обрабатывать изображения визуального мира или генерировать их. В то же время визуальные базовые модели, такие как Vision Transformer и Stable Diffusion, несмотря на высокие возможности визуального понимания и генерации, являются экспертами лишь в выполнении конкретных задач с фиксированными входными и выходными данными за один раунд. Для решения этой задачи мы создаём систему под названием Visual ChatGPT, объединяющую различные визуальные базовые модели и позволяющую пользователям взаимодействовать с ChatGPT посредством: 1) отправки и получения не только текста, но и изображений; 2) постановки сложных визуальных вопросов или предоставления инструкций по визуальному редактированию, требующих совместной работы нескольких моделей искусственного интеллекта в несколько этапов; и 3) предоставления обратной связи и запроса исправленных результатов. Мы разрабатываем серию промптов для интеграции информации о визуальных моделях в ChatGPT, учитывая модели с несколькими входами и выходами, а также модели, требующие визуальной обратной связи. Эксперименты показывают, что Visual ChatGPT открывает возможности для изучения визуальных функций ChatGPT с помощью визуальных базовых моделей. Наша система находится в открытом доступе по адресу https://github.com/microsoft/visual-chatgpt.