Война чат-ботов: Bard, Bing Chat, ChatGPT, Ernie и другие. Новая золотая лихорадка ИИ и её влияние на высшее образование

War of the chatbots: Bard, Bing Chat, ChatGPT, Ernie and beyond. The new AI gold rush and its impact on higher education
Jürgen Rudolph, Shannon Tan, Samson Tan
2023-04-24

BardBing ChatChatGPTErnieGPT-4рекомендации по оценке и обучениючат-ботысравнительная оценкавысшее образование
Развитие в области чат-ботов ускоряется с головокружительной скоростью с конца ноября 2022 года. Ежедневно появляется множество новостей. В разгар гонки вооружений в области ИИ и «золотой лихорадки» разворачивается война конкурирующих чат-ботов. Эти быстрые изменения влияют на высшее образование, поскольку миллионы студентов и преподавателей начали использовать ботов, таких как ChatGPT, Bing Chat, Bard, Ernie и других, для самых разных целей. В статье мы отбираем некоторые из наиболее перспективных чат-ботов в англоязычном и китайскоязычном пространствах и приводим их корпоративный бэкграунд и краткую историю. После актуального обзора англоязычной и китайскоязычной научной литературы мы описываем наш сравнительный метод и систематически сравниваем отобранные чат-боты по многопрофильному тесту, релевантному для высшего образования. Результаты нашего теста показывают, что в этой когорте ботов в настоящее время нет ни «студентов» на уровне A, ни на уровне B, вопреки публикуемым и сенсационным заявлениям. Видимо, столь восхваляемый ИИ пока не так уж интеллектуален. Лучшие результаты показали GPT-4 и его предшественник, тогда как Bing Chat и Bard были похожи на студентов группы риска со средними оценками на уровне F. Мы завершаем статью четырьмя типами рекомендаций для ключевых заинтересованных сторон в высшем образовании: (1) преподавателям в части оценивания и (2) обучения и преподавания, (3) студентам и (4) высшим учебным заведениям.
1
GPT-4 и его предшественник показали лучшие результаты в сравнительном тесте, тогда как Bing Chat и Bard продемонстрировали низкие результаты, эквивалентные F.
2
Ни один чат-бот из протестированной когорты не продемонстрировал уровня A- или B-студента; общественные заявления о высоком интеллекте преувеличены.
3
Стремительное распространение конкурирующих чат-ботов с ноября 2022 года породило «гонку вооружений» в ИИ и повлияло на использование ботами студентов и академиков в высшем образовании.
4
Авторы систематически сравнили отобранные англоязычные и китайскоязычные чат-боты в рамках многодисциплинарного теста, релевантного высшему образованию.
5
Статья содержит четыре вида рекомендаций для заинтересованных сторон в высшем образовании: по оцениванию преподавателей, преподаванию и обучению, студентам и учреждениям.

Современные чат-боты на базе больших языковых моделей (например, ChatGPT, Bing Chat, Bard, Ernie), используемые в высшем образовании

Сравнительная эффективность и ограничения этих чат-ботов в многодисциплинарных заданиях, релевантных высшему образованию, и их влияние на оценивание, преподавание и обучение, студентов и учебные заведения

Publication Details
Publication Date
2023-04-24
Journal
Publisher
ISSN
Cited by
419
Access Type
Author Information
Authors
Jürgen Rudolph
Shannon Tan
Samson Tan
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat
Make a presentation
100%