Гильдии краудворкеров

Краудворкеры работают в распределённой и децентрализованной среде. Хотя децентрализация призвана использовать независимые суждения для получения высококачественных результатов, парадоксальным образом она ослабляет формы поведения и институты, критически важные для качественной работы. Репутация — один из центральных примеров: краудсорсинговые системы зависят от репутационных оценок, выставляемых децентрализованными исполнителями и заказчиками, однако эти оценки, как известно, завышены и малоинформативны. В этой статье, вдохновляясь историческими рабочими гильдиями (например, в шёлковой торговле), мы разрабатываем и внедряем гильдии краудворкеров — централизованные группы краудворкеров, которые коллективно подтверждают качество работы друг друга посредством двойного слепого экспертного оценивания. В двухнедельном полевом эксперименте гильдии краудворкеров сравнивались с традиционной децентрализованной моделью краудворка. Гильдии краудворкеров формировали репутационные сигналы, более тесно коррелировавшие с истинным качеством работы исполнителей, чем сигналы, доступные на современных платформах краудворка, и более точные, чем сигналы, полученные в традиционной модели.