Как подключить фотоловушку к компьютеру
Обновлено: 03.07.2024
Нет никаких причин, по которым точно проведенные эксперименты не достигли своей цели из-за некачественной технологии. Фотоловушки являются важным ресурсом для исследователей окружающей среды и нуждаются в обновлении для получения точных экологических данных. Они склонны к ложным срабатываниям, которые расходуют заряд батареи и отнимают много времени, когда исследователям приходится вручную сортировать и удалять ложные срабатывания. Камеры и датчики PIR на доступных в настоящее время фотоловушках могут привести к ухудшению качества изображения, что может сделать данные непригодными для исследований. Мы стремимся восполнить недостаток технических знаний в области консервации.
Наше предложение
Камера-ловушка 3.0 призвана модернизировать фотоловушки, включая компьютерное зрение, беспроводную связь, солнечную энергию и широкоугольную камеру. Эти технологические достижения позволят исследователям сосредоточиться на своих экспериментах, а не устранять неполадки в своем оборудовании. Программное обеспечение компьютерного зрения автоматически выбирает соответствующие захваченные изображения, игнорируя ложные срабатывания и повышая надежность собранных данных. Беспроводная связь позволит исследователям получать удаленный доступ к своим изображениям, а солнечная энергия продлит срок службы батареи фотоловушки. Широкоугольный объектив расширит поле зрения, облегчив захват изображений неуловимых видов. Camera Trap 3.0 будет создаваться с использованием технологии с открытым исходным кодом, что позволит будущим пользователям добавлять датчики и модули в соответствии со своими потребностями.
Мы предполагаем это.
Люди хотят, чтобы фотоловушки были модернизированы.
Потребности, которые мы рассматриваем в нашем первом прототипе, являются наиболее насущными потребностями.
Дешевизна фотоловушек повысит их доступность.
Люди будут достаточно заинтересованы, чтобы изменить проект.
Камеру-ловушку будут использовать как исследователи, так и энтузиасты.
Модернизация фотоловушки не приведет к значительному увеличению стоимости.
Ограничения, которые необходимо преодолеть
Основным недостатком большинства современных фотоловушек является то, что они устарели, дороги и склонны к ложным срабатываниям. Ложные срабатывания вызывают быстрое снижение заряда батареи и требуют чрезмерной рабочей силы для просеивания фотографий. Camera Trap 3.0 будет использовать возможности распознавания изображений для автоматической проверки захваченных изображений на наличие ложных срабатываний, а также использовать модули Wi-Fi и/или GSM для беспроводной связи. Используя технологии с открытым исходным кодом, такие как Raspberry Pi и OpenCV, мы гарантируем, что Camera Trap 3.0 недорогая, но при этом технологически надежная, и ее могут использовать как неправительственные организации, так и энтузиасты природы. Компоненты, используемые в Camera Trap 3.0, относительно недороги, что еще больше повышает доступность. Мы достигаем этих целей, сохраняя при этом минимально инвазивный характер традиционных фотоловушек.
Текущая работа
Основные задачи на следующие 3–6 месяцев связаны с созданием первого прототипа. Задачи разбиты на разделы — распознавание изображений, система запуска камеры и выбор лучших материалов для проекта. Тремя основными задачами являются применение компьютерного зрения с OpenCV к фотоловушке, добавление обнаружения движения PIR к фотоловушке и питание устройства солнечной энергией. Другие задачи включают сбор материалов для проекта. Основными решениями являются тип микроконтроллера, тип камеры и любые дополнительные экраны или модули. После того, как прототип будет готов, команда фотоловушек должна будет протестировать фотоловушку, чтобы найти ошибки перед следующей итерацией.
Текущие потребности
Для проекта NextGen Camera Trap Project потребуются материалы для прототипирования, такие как Raspberry Pi, камеры и модули Wi-Fi/GSM. Для проекта также требуются основные операционные ресурсы, такие как электронные кабели, компьютеры, доступ к программному обеспечению и лабораторные помещения. Что касается навыков и знаний, мы хотели бы, чтобы члены сообщества с опытом работы с аппаратным/электронным оборудованием работали над системой запуска камеры и работой фотоловушки с Raspberry Pi. Мы также ищем членов сообщества с опытом работы в области компьютерного зрения, машинного обучения, операционных систем и программирования. Также необходимы идеи о том, как можно улучшить Camera Trap 3.0, в том числе о том, какие датчики можно добавить, особенно от людей, которые уже работали с фотоловушками и хотели бы улучшить свой опыт!
Фотоловушки и изображения, которые они создают, становятся важным инструментом для полевых биологов, изучающих и наблюдающих за наземными животными, в частности средними и крупными наземными млекопитающими и птицами. За последние пять лет фотоловушки перешли на цифровую технологию, где эти устройства теперь производят сотни мгновенно доступных изображений в месяц и большое количество вспомогательных метаданных (например, дату, время, температуру, размер изображения и т. д.). .Несмотря на ускоренные темпы развития цифрового захвата изображений, полевым биологам по-прежнему не хватает адекватных программных решений для обработки и управления растущим объемом информации экономически эффективным способом. В этой статье мы описываем разработанную нами программную систему под названием DeskTEAM для решения этой проблемы. DeskTEAM был разработан в контексте Сети оценки и мониторинга тропической экологии (TEAM), глобальной сети, которая занимается мониторингом наземных позвоночных. Мы описываем архитектуру и функциональные возможности программного обеспечения, а также его полезность для управления и обработки больших объемов данных цифровых фотоловушек, собранных по всей глобальной сети TEAM. DeskTEAM включает в себя функции и функции программного обеспечения, которые делают его актуальным для широкого круга пользователей камеры. К ним относятся возможность запуска приложения локально на ноутбуке или настольном компьютере, не требуя подключения к Интернету, а также возможность запуска в нескольких операционных системах; интуитивно понятный навигационный пользовательский интерфейс с несколькими уровнями детализации (от отдельных изображений до целых групп изображений), который позволяет пользователям легко управлять сотнями или тысячами изображений; возможность автоматического извлечения EXIF и пользовательских метаданных из цифровых изображений для повышения стандартизации; наличие встроенных таксономических списков, позволяющих пользователям легко помечать изображения видовой принадлежностью; и возможность экспортировать пакеты данных, состоящие из данных, метаданных и изображений в стандартизированных форматах, чтобы их можно было передавать в онлайн-хранилища данных для удобного архивирования и распространения. Наконец, создание этих программных инструментов для ученых, изучающих дикую природу, дает ценные уроки сообществу экоинформатики.
Основные моменты
► Управление данными захвата камеры теперь более сложное из-за цифровых датчиков. ► Мы описываем программное обеспечение, используемое сетью TEAM для управления данными ловушек цифровых камер. ► Наш процесс и методы дают ценные уроки сообществу экоинформатики. ► Мы определяем следующие шаги для того, чтобы наше программное обеспечение стало общедоступным ресурсом для захвата камеры.
Съемки дикой природы с помощью фотоловушек позволяют получать огромное количество изображений. Ключевая проблема в области экологии дикой природы заключается в том, что огромное количество времени тратится на просмотр этих изображений для определения обнаруженных видов. Ценные ресурсы тратятся впустую, а масштабы исследований ограничиваются этим процессом обзора. Использование компьютерного программного обеспечения, способного извлекать ложные срабатывания, автоматически идентифицировать обнаруженных животных и сортировать изображения, может значительно повысить эффективность. ИИ был продемонстрирован как эффективный вариант для автоматической идентификации видов по изображениям с фотоловушек. Имеющиеся в настоящее время кодовые базы недоступны большинству пользователей; для доступа к облачным сервисам требуются высокопроизводительные компьютеры, продвинутые навыки разработки программного обеспечения и часто высокоскоростное подключение к Интернету. Программный инструмент ClassifyMe предназначен для устранения этого пробела и предоставляет пользователям возможность использовать самые современные алгоритмы распознавания изображений без необходимости специальных навыков компьютерного программирования. ClassifyMe ИДЕАЛЬНО подходит для полевых исследователей, позволяя пользователям просматривать изображения с фотоловушек, используя полевые компьютеры вместо офисных рабочих станций.
Название: ClassifyMe: ПО для полевой разведки для идентификации дикой природы на изображениях, сделанных фотоловушками
Авторы: Грег Фальзон, Кристофер Лоусон, Ка-Вай Чунг, Карл Вернес, Гай А. Баллард, Питер Дж. С. Флеминг, Алистер С. Глен, Хит Милн, Аталья Мазер-Зардейн и Пол Д. Мик
Журнал: MDPI (Мультидисциплинарный институт цифровых публикаций)
Открытый доступ: да
Аннотация:
Мы представляем ClassifyMe — программный инструмент для автоматической идентификации видов животных по изображениям, сделанным фотоловушками. ClassifyMe предназначен для использования экологами как в полевых условиях, так и в офисе. Пользователи могут загрузить предварительно обученную модель для интересующего их местоположения, а затем загрузить изображения с фотоловушки на ноутбук или рабочую станцию. ClassifyMe идентифицирует животных и другие объекты (например, транспортные средства) на изображениях, предоставляет файл отчета с наиболее вероятными обнаружениями видов и автоматически сортирует изображения по подпапкам, соответствующим этим категориям видов. Ложные триггеры (отсутствие видимого объекта) также будут отфильтрованы и отсортированы. Важно отметить, что программное обеспечение ClassifyMe работает на локальном компьютере пользователя (собственном ноутбуке или рабочей станции), а не через подключение к Интернету. Это позволяет пользователям получать доступ к современному программному обеспечению для компьютерного зрения с камерами-ловушками на месте, а не только в офисе. Программное обеспечение также требует минимальных затрат для конечного пользователя, поскольку нет необходимости в дорогостоящей загрузке данных в облачные сервисы.Кроме того, локальная обработка изображений на конечном устройстве пользователей позволяет им контролировать данные и решать проблемы конфиденциальности, связанные с передачей и доступом третьих лиц к наборам данных пользователей.
Ключевые слова: фотоловушки, управление данными фотоловушек, глубокое обучение, экологическое программное обеспечение, распознавание видов, мониторинг дикой природы.
Камеры-ловушки – это камеры, активируемые движением или теплом, которые биологи размещают в местах, представляющих интерес, для отслеживания и изучения популяций и поведения животных. Когда камера срабатывает, последовательность изображений снимается примерно с частотой один кадр в секунду. Камеры склонны к ложным срабатываниям, вызванным ветром или теплом, поднимающимся от земли, что приводит к пустым кадрам. Пустые кадры также могут возникать, если животное уходит из поля зрения камеры во время срабатывания последовательности. Раз в месяц биологи возвращаются к камерам, чтобы заменить батарейки и карту памяти. После сбора эксперты вручную сортируют данные фотоловушек, чтобы классифицировать виды и удалять пустые кадры. Эти камеры позволяют автоматически собирать большие объемы данных изображений, но время, необходимое для сортировки изображений, сильно ограничивает масштаб данных и производительность исследований. Автоматизация процесса с помощью компьютерного зрения сделает исследование фотоловушек масштабируемым и эффективным.
Цель этого набора данных – предоставить исследователям компьютерного зрения испытательную площадку для проверки того, насколько хорошо их модели способны обобщать невидимые места. Основная проблема заключается в обобщении разнообразного набора невидимых местоположений фотоловушек, снятых как днем, так и ночью, которых нет в тренировочном наборе. Набор данных можно использовать для прогнозирования наличия на изображениях животных, для обнаружения этого животного и его классификации. Некоторые изображения содержат другие объекты (например, людей или транспортные средства), которые могут активировать камеры, но не представляют интереса. Интересующие вас животные могут быть очень маленькими, частично закрытыми или выходящими за пределы кадра — иногда вам придется потрудиться, чтобы найти их. Также в обучающем наборе может быть небольшое количество неправильных аннотаций.
Этот набор данных является надмножеством данных, использованных в нашей статье ECCV18 «Распознавание в Terra Incognita», и использовался в конкурсе FGVCx iWildCam 2018 в рамках семинара FGVC^5 на CVPR18 и в конкурсе FGVCx iWildCam 2019 в рамках семинар FGVC^6 на CVPR19. Если у вас есть вопросы или проблемы с набором данных, отправьте электронное письмо sbeery по адресу caltech dot edu.
Подробности и оценка
Набор данных содержит 243 187 изображений со 140 камер.
Для конкурса iWildCam Challenge 2018 мы предоставили раздел, содержащий 106 428 тренировочных изображений с 65 разных мест расположения камер и 12 719 проверочных изображений с 10 новых мест, которые не были видны во время обучения. Тестовый набор содержал 124 040 изображений из 65 местоположений, которых нет в наборах для обучения или проверки. Идентификатор местоположения ( location ) указывается для всех изображений.
Метрикой оценки для задачи iWildCam18 была общая точность в бинарной задаче классификации животных/без животных, т. е. правильное предсказание того, какие из тестовых изображений содержат животных.
Этот набор данных содержит аннотации на уровне класса для всех изображений, а также аннотации ограничительной рамки для подмножества из 57 864 изображений из 20 местоположений. Подмножество, содержащее ограничивающие рамки, использовалось в нашей статье ECCV18 «Распознавание в Terra Incognita».
Формат аннотации
Мы следуем формату аннотаций набора данных COCO и добавляем дополнительные поля, чтобы указать конкретную информацию о фотоловушке. Эти поля включают идентификатор местоположения, идентификатор последовательности, количество кадров в этой последовательности и номер кадра отдельного изображения. Обратите внимание, что не все камеры снимают последовательности изображений по одному триггеру, поэтому для некоторых изображений количество кадров в связанной последовательности будет равно единице. Каждое обучающее изображение имеет category_id, представляющий его класс, а некоторые изображения также имеют bbox. Аннотации хранятся в формате JSON и организованы следующим образом:
Условия использования
Загружая этот набор данных, вы соглашаетесь с условиями, изложенными в Лицензионном соглашении об использовании данных сообщества (CDLA).
Изображения, фрагменты и аннотации из набора данных Caltech Camera Traps-20 (CCT-20), использованного в нашей статье ECCV18, можно загрузить отдельно:
- Все изображения ECCV18 22 ГБ (содержит 1,3 КБ изображений, не включенных в набор данных iWildCam 2018 Challenge)
- Запуск md5sum eccv_18_all_images.tar.gz должен выдать 04c0f27699d0643fcabfd28992d1189f
Примечания к документу ECCV «Признание в Terra Incognita»
Аннотация
Желательно, чтобы алгоритмы обнаружения и классификации распространялись на незнакомые среды, но подходящие критерии для количественного изучения этого явления пока недоступны.Мы представляем набор данных, предназначенный для измерения обобщения распознавания в новых средах. Изображения в нашем наборе данных получены с двадцати фотоловушек, установленных для наблюдения за популяциями животных. Фотоловушки фиксируются в одном месте, поэтому фон на изображениях мало меняется; захват срабатывает автоматически, поэтому человеческий фактор отсутствует. Задача состоит в том, чтобы научиться распознавать в нескольких местах и распространить обнаружение и классификацию животных на новые места, где нет обучающих данных. В наших экспериментах современные алгоритмы показывают отличную производительность при тестировании в том же месте, где они обучались. Однако мы обнаружили, что обобщение на новые местоположения плохое, особенно для систем классификации.
Пояснения
В статье мы провели три типа экспериментов, отделив классификацию животных от обнаружения животных, чтобы проанализировать их вклад в пробел в обобщении при тестировании в новых условиях.
- Полная классификация изображений с использованием Inception V3 для 15 классов животных, предварительно обученных в ImageNet.
- Обрезанная классификация животных с помощью Inception V3 для 15 классов животных, предварительно обученная в ImageNet.
- Ускоренное обнаружение RCNN на полных изображениях для одного комбинированного класса «животное» с использованием как Resnet 101, так и Inception-Resnet-V2 с поврежденными магистральными сетями, предварительно обученными на COCO.
Проблемы с данными
Данные камеры-ловушки создают несколько проблем, которые могут затруднить получение точных результатов.
Распределение классов
Каждая локация имеет свое уникальное распределение классов, и преодоление этих приоритетов может быть затруднено. Распределение классов в каждом месте показано на графике ниже.
Подсветка:
Изображения могут быть плохо освещены, особенно ночью. Пример ниже содержит скунса в центре слева от кадра.
Размытие в движении:
Выдержка затвора камеры недостаточна для устранения смазывания движущихся объектов, поэтому животные иногда получаются смазанными. В примере изображен размытый койот.
Малый ROI:
Некоторые животные маленькие или находятся далеко от камеры, и их может быть трудно заметить даже человеку. На изображении в качестве примера мышь находится на ветке в центре справа от кадра.
Затенение:
Животные могут быть закрыты растительностью или краем кадра. В этом примере показано место, где перед камерой росли сорняки, закрывающие обзор.
Перспектива:
Иногда животные подходят к камере очень близко, создавая вынужденную перспективу.
Погодные условия:
Плохая погода, включая дождь или пыль, может загораживать объектив и вызывать ложные срабатывания.
Неисправности камеры:
Иногда камера дает сбой, вызывая странное обесцвечивание.
Временные изменения:
В любом заданном месте фон со временем меняется по мере смены времен года. Ниже вы можете увидеть одно местоположение в три разных момента времени.
Изменчивость, не относящаяся к животным:
Причина, по которой появляются изображения, не относящиеся к животным, зависит от местоположения. В некоторых местах много растительности, которая может вызывать ложные срабатывания при движении на ветру. Другие находятся рядом с проезжей частью, поэтому их могут спровоцировать автомобили или велосипедисты.
Благодарности
Мы хотели бы поблагодарить Эрин Бойдстон (USGS) и Джастина Брауна (NPS) за предоставление нам данных. Этот материал основан на работе, поддержанной Программой стипендий Национального научного фонда для аспирантов в рамках гранта № 1745301. Любые мнения, выводы, выводы или рекомендации, выраженные в этом материале, принадлежат автору (авторам) и не обязательно отражают взгляды. Национального научного фонда.
Цели упражнений
Основные цели сегодняшней лаборатории:
1) Понять типы данных о поведении, которые ученые могут собирать с помощью фотоловушек. .
2) Ознакомьтесь с одним из способов, с помощью которых ученые могут сравнивать различия в моделях активности.
3) Подумайте о межвидовых взаимодействиях хищник-жертва и потенциальных конкурентах в Серенгети.
Начало работы
Сначала нам нужно загрузить соответствующие пакеты для анализа данных. Пакеты содержат все функции, необходимые для анализа данных.
Часть 1. Сбор данных с камеры-ловушки Серенгети
Исходный набор данных включает более 2,65 млн последовательностей изображений с фотоловушек (всего 7,1 млн изображений) за десять полевых сезонов. Как вы понимаете, это очень много данных! Для этого практического занятия мы сосредоточимся на подмножестве данных, собранных в течение нескольких сезонов.
Мы будем делать случайные подмножества фотографий с фотоловушек (текущее значение по умолчанию – 5 за сезон, которое вы должны изменить для своего реального исследования), и мы используем set.seed, чтобы убедиться, что наши результаты воспроизводятся.< /p>
С помощью следующего кода можно запросить базу данных по сезонам, чтобы узнать, какие фотографии доступны. Доступные сезоны: 1-4, 6-8,10,11. Эта функция вернет таблицу со всеми доступными фотоловушками для определенного сезона. С данными фотоловушки часто фотографии будут делаться последовательно (например, если животное движется перед камерой в течение длительного времени). Значения в таблице ниже включают все фотографии в последовательности, но код, который мы используем для загрузки фотографий, берет только первую фотографию в последовательности. Поэтому размеры выборки, указанные в этой таблице, и фактический размер выборки могут отличаться.
Для этой лабораторной работы вы выберете двух животных из набора данных фотоловушки. Это может быть пара животных, которые являются хищником и добычей, или два потенциальных конкурента. После того, как вы выберете двух животных, которых хотите сравнить, вы сделаете несколько прогнозов о том, как, по вашему мнению, они будут отличаться в своих моделях активности.
Теперь мы воспользуемся другой функцией, чтобы загрузить фотографии с фотоловушек и сохранить их локально на нашем компьютере. Вы можете изменить сезон, изменив значения сезона (помните, что доступны сезоны 1-4, 6-8,10,11). Вы можете изменить фокусное животное, изменив «AnimalID»; убедитесь, что написание и регистр точно такие же, как в таблице выше. Вы можете изменить количество загружаемых фотографий за сезон (по умолчанию 5). Когда «create.dir» имеет значение true, это создаст папку в вашем текущем рабочем каталоге. В этом примере папка называется «CameraTrapPhotoszebra». Если create.dir=‘FALSE’, все фотографии будут загружены прямо в ваш рабочий каталог. Чтобы найти каталог, введите «getwd()» в консоль R.
Здесь мы изолируем только те столбцы из фрейма данных, которые нам нужны.
Приведенная ниже функция позволит вам вводить данные и просматривать каждую фотографию, включенную в электронную таблицу «CombinedAnimalDF», а также указывать время, когда была сделана фотография. Вы можете изменить option='Plot' на option='Viewer', чтобы загружать фотографии быстрее, но вам придется развернуть фотографию, чтобы увидеть ее целиком. Входной файл должен представлять собой кадр данных, созданный с помощью функции CameraTrapDataAccess. Вы можете выйти из функции в любое время, набрав «break». Он распечатает, в какой строке фрейма данных вы находились, когда остановили функцию. Если вы хотите продолжить с того места, на котором остановились, вы должны изменить «rowstart=1» на указанный номер строки и изменить «dataframe.cont = FALSE» на «dataframe.cont = TRUE».
Вот функция для просмотра фотографий и комментирования данных.
Теперь вы можете сохранить свою таблицу данных локально
Часть 2. Анализ данных камеры-ловушки Серенгети
Сначала мы загружаем ваш лист данных с добавленным временем. ПРИМЕЧАНИЕ. Убедитесь, что ваше обновленное техническое описание имеет то же имя, что и файл, указанный ниже.
Тогда мы можем проверить структуру
Теперь мы можем построить график плотности, который покажет распределение фотографий с фотоловушек, сделанных в течение 24 часов. Мы добавляем fill = ‘category_id’, чтобы показывать разные распределения для каждого животного.
Вопрос 1. Что вы заметили в перекрытии двух кривых плотности? Похоже ли на временное разделение ниши?
Теперь мы можем рассчитать коэффициент перекрытия, который можно использовать для исследования потенциальных возможностей конкуренции и взаимодействия между видами.Значение варьируется от 0 (нет перекрытия) до 1 (полное перекрытие).
Сначала мы подмножаем наши данные, чтобы сосредоточиться на первом животном в нашем наборе данных
Затем мы разделяем наши данные, чтобы сосредоточиться на втором животном в нашем наборе данных
Теперь мы используем функцию перекрытия для расчета коэффициента перекрытия
Вопрос 2. Как вы интерпретируете коэффициент перекрытия для ваших данных?
Часть 3. Сосредоточьтесь на данных камеры-ловушки Серенгети вашего партнера
Теперь мы прочитаем данные наших партнеров.
ПРИМЕЧАНИЕ. Убедитесь, что ваше обновленное техническое описание имеет то же имя, что и файл, указанный ниже.
Давайте проверим структуру
Теперь мы можем построить график плотности данных нашего партнера.
Вопрос 3. Что вы заметили в перекрытии двух кривых плотности для данных вашего партнера? Похоже ли на временное разделение ниши?
Теперь мы можем рассчитать коэффициент перекрытия, который можно использовать для исследования потенциальных возможностей конкуренции и взаимодействия между видами. Значение варьируется от 0 (нет перекрытия) до 1 (полное перекрытие).
Сначала мы подмножаем наши данные, чтобы сосредоточиться на первом животном в наборе данных вашего партнера
Затем мы разделяем наши данные, чтобы сосредоточиться на втором животном в нашем наборе данных
Теперь мы используем функцию перекрытия для расчета коэффициента перекрытия
Вопрос 4. Каков коэффициент перекрытия для данных вашего партнера? Как вы это понимаете?
Часть 4. Исследование распределения временных ниш у четырех разных животных
Сначала мы объединяем оба набора данных
Затем мы наносим на график модели активности диэлов для всех четырех видов
Вопрос 5. Основываясь на моделях активности и вашем понимании пищевой сети Серенгети, как вы интерпретируете эти результаты? Имеются ли признаки временного разделения ниши между потенциальными конкурентами? Как насчет взаимодействия между потенциальными хищниками и жертвами?
Читайте также: