Проблема оракула в тестировании программного обеспечения: обзор

Тестирование предполагает исследование поведения системы с целью выявления потенциальных дефектов. Если задан входной сигнал для системы, задача различения соответствующего желательного, корректного поведения и потенциально некорректного поведения называется «проблемой тестового оракула». Автоматизация тестовых оракулов важна для устранения существующего узкого места, препятствующего дальнейшей общей автоматизации тестирования. При отсутствии автоматизации тестовых оракулов человек должен определить, является ли наблюдаемое поведение корректным. В литературе, посвященной тестовым оракулам, предложены методы автоматизации оракулов, включая моделирование, спецификации, контрактно-ориентированную разработку и метаморфное тестирование. Если ни один из этих методов не является полностью достаточным, конечным источником информации для тестового оракула остается человек, который может располагать неформальными спецификациями, ожиданиями, нормами и предметно-ориентированной информацией, обеспечивающими неформальные ориентиры для оракула. Все формы тестовых оракулов, включая самого человека, связаны с задачами снижения затрат и повышения эффективности. В статье представлен всесторонний обзор современных подходов к проблеме тестового оракула и анализ тенденций в этой важной области исследований и практики тестирования программного обеспечения.