Один и тот же тест, более высокие показатели: повышение надёжности кратких онлайн-тестов интеллекта для отбора персонала с помощью вложенных логит-моделей теории ответов на задания
Same Test, Better Scores: Boosting the Reliability of Short Online Intelligence Recruitment Tests with Nested Logit Item Response Theory Models
2019-07-10
SCID: 54.1/kn5pt5eq
Discuss with AI
теория ответа на заданиевложенные логит-моделионлайн-тестирование интеллектатестирование при найменадёжность оценок способностей
Figures from the paper
Abstract (AI)
Онлайн-оценивание общего умственного потенциала соискателей сопряжено с психометрическими трудностями, поскольку тесты должны быть краткими, но точными. Согласно недавнему исследованию (Myszkowski & Storme, 2018), извлечение информации о дистракторах с помощью вложенных логит-моделей (Nested Logit Models, NLM; Suh & Bolt, 2010) повышает надёжность оценок способностей в тестах на рассуждение матричного типа. В настоящем исследовании этот результат был расширен на иной контекст — онлайн-тестирование интеллекта при отборе персонала — и более крупную выборку (N = 2949 соискателей). Было установлено, что NLM превосходят номинальную модель ответов (Nominal Response Model; Bock, 1970) и обеспечивают значимое повышение надёжности по сравнению с их бинарными логистическими аналогами. В соответствии с предыдущими исследованиями, прирост надёжности был особенно заметен на низких уровнях способностей. Обсуждаются теоретические выводы и практические рекомендации.
Key Findings
1
Вложенные логит-модели повысили надёжность оценок способностей в кратких онлайн-тестах на рассуждение, используемых при подборе персонала.
2
Вложенные логит-модели превзошли номинальную модель отклика и обеспечили значимое повышение надёжности по сравнению с соответствующими бинарными логистическими моделями.
3
Улучшение надёжности было особенно выражено у кандидатов с низким уровнем способностей.
4
Результаты воспроизвели и расширили предыдущие данные о восстановлении информации о дистракторах в матричных тестах интеллекта на более крупной выборке из 2949 кандидатов.
5
Результаты подтверждают целесообразность применения вложенных логит-моделей теории отклика на задание для повышения точности кратких онлайн-тестов интеллекта при найме.
Research Object
онлайн-тесты интеллекта для отбора соискателей, в частности тесты на основе матриц рассуждений
Research Subject
надёжность и точность оценок общих умственных способностей, включая преимущества моделей теории тестирования с вложенной логит-моделью и их эффективность на разных уровнях способностей
Publication Details
Publication Date
2019-07-10
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest