Тестирование систем обнаружения вторжений

В 1998 году, а затем вновь в 1999 году Лаборатория Линкольна Массачусетского технологического института провела сравнительную оценку систем обнаружения вторжений (IDS), разработанных при финансовой поддержке DARPA. Хотя эта оценка представляет собой значительное и масштабное мероприятие, ряд вопросов, связанных с ее разработкой и проведением, остается нерешенным. Некоторые использованные в оценке методики вызывают сомнения и могли исказить ее результаты. Одна из проблем заключается в том, что оценщики опубликовали сравнительно мало материалов по некоторым наиболее важным аспектам своей работы, таким как валидация тестовых данных. Корректность примененных методов оценки требует дальнейшего изучения. Цель данной статьи — выявить недостатки работы Лаборатории Линкольна в надежде, что будущие мероприятия такого рода будут проводиться на более надежной основе. Некоторые из указанных в статье проблем могли бы быть устранены, если бы оценщики опубликовали подробное описание своих процедур и обоснование их выбора, однако другие проблемы, очевидно, сохранились бы.