Интерактивная обводка черновых набросков в реальном времени на основе данных

Мы представляем интерактивный подход к обводке — процессу преобразования карандашного чернового наброска в чистый линейный рисунок. Предлагаемый подход, который мы называем Smart Inker, состоит из нескольких «интеллектуальных» инструментов, интуитивно реагирующих на действия пользователя и одновременно ориентирующихся на исходный черновой набросок, что обеспечивает эффективное и естественное соединение линий, удаление штриховки и тонкую настройку результирующего линейного рисунка. Наш подход основан на данных: инструменты используют полностью сверточные сети, обученные задействовать как правки пользователя, так и неточный черновой набросок для создания точных линейных рисунков, обеспечивая высокопроизводительное интерактивное редактирование в реальном времени для множества сложных изображений черновых набросков. Для обучения инструментов мы разработали два ключевых метода: создание обучающих данных путем моделирования неточных и быстрых правок пользователя и нормализацию линий на основе обучения по векторным данным. В сочетании со специализированным для набросков расширением данных эти методы позволяют обучать инструменты на неоднородных данных без фактического взаимодействия с пользователем. Мы проверили наш подход в рамках подробного пользовательского исследования, сравнив его с профессиональным программным обеспечением для иллюстрации, и показали, что он сокращает время обводки в 1,8 раза, одновременно улучшая результаты пользователей-любителей.