Искусственный интеллект против Майи Энджелоу: Экспериментальные данные о том, что люди не могут отличить стихи, созданные искусственным интеллектом, от стихов, написанных человеком

Появление общедоступных и высокоэффективных алгоритмов генерации естественного языка (NLG) вызвало значительное внимание общественности и широкую дискуссию. Одна из причин заключается в предполагаемой способности этих алгоритмов генерировать текст, подобный человеческому, в различных предметных областях. Эмпирических данных, полученных в ходе заданий с материальным стимулированием и позволяющих оценить, могут ли люди (а) отличать текст, созданный алгоритмом, от текста, написанного человеком, и (б) предпочитать один из этих типов текста, пока недостаточно. Мы провели два эксперимента, оценивающих поведенческие реакции на современный алгоритм генерации естественного языка GPT-2 (Ntotal = 830). Используя идентичные начальные строки стихотворений, написанных людьми, GPT-2 генерировал образцы стихотворений. Из этих образцов либо случайным образом выбиралось стихотворение (условие Human-out-of-the-loop — «человек вне контура»), либо отбиралось лучшее стихотворение (условие Human-in-the-loop — «человек в контуре»), после чего каждое из них сопоставлялось со стихотворением, написанным человеком. В новом варианте теста Тьюринга с материальным стимулированием участники не смогли надежно распознать стихи, созданные алгоритмом, в условии Human-in-the-loop, однако успешно справились с этой задачей в условии Human-out-of-the-loop. Кроме того, люди продемонстрировали небольшое неприятие поэзии, созданной алгоритмом, независимо от того, сообщалось ли участникам об алгоритмическом происхождении стихотворения (условие Transparency — «прозрачность») или нет (условие Opacity — «непрозрачность»). Мы обсуждаем, что эти результаты говорят о способности алгоритмов NLG создавать текст, подобный человеческому, и предлагаем методологии для изучения таких обучающихся алгоритмов в экспериментальных исследованиях взаимодействия человека и агента.