Отслеживание и мониторинг насекомых в реальном времени с использованием компьютерного зрения и глубокого обучения

Численность и разнообразие насекомых снижаются, но тенденции популяций остаются неопределёнными, поскольку насекомых трудно мониторить. Ручные методы требуют значительных временных затрат на ловушки и последующую идентификацию видов. Использование камер может уменьшить часть полевой ручной работы, но большие объёмы изображений сложно анализировать. Встраивая анализ изображений в процесс записи с помощью методов компьютерного зрения, можно сосредоточить усилия на наиболее экологически значимых данных. В настоящей работе мы представляем интеллектуальную систему видеонаблюдения, способную обнаруживать, отслеживать и идентифицировать отдельных насекомых in situ. Систему собрали из коммерчески доступных компонентов и использовали программное обеспечение с открытым исходным кодом на основе глубокого обучения для обнаружения и классификации видов. Мы представляем алгоритм Insect Classification and Tracking (ICT), выполняющий классификацию и трекинг в реальном времени со скоростью 0,33 кадров в секунду. Система может ежедневно загружать сводные данные об идентичности и траекториях движения насекомых на сервер через интернет. Мы протестировали систему летом 2020 года и обнаружили 2 994 трека насекомых за 98 дней. Средняя точность правильно классифицированных треков восьми различных видов составила 89%. Этот результат основан на 504 вручную верифицированных треках, наблюдавшихся в видеозаписях в течение 10 дней с различной активностью насекомых. Используя данные треков, мы оценили среднее время пребывания отдельных цветоносных насекомых в поле зрения камеры и показали существенную вариацию времени пребывания между таксонами насекомых. Для медоносных пчёл, которые были наиболее многочисленны, время пребывания также варьировало в течение сезона в зависимости от цветущих видов растений. Предложенная автоматизированная система показала многообещающие результаты в неразрушающем и реальном времени мониторинге насекомых и предоставляет новую информацию о фенологии, численности, поисковом поведении и экологической динамике перемещений цветоносных насекомых.