Skip to main content
Elevage de précision et IA

Deep learning-based hierarchical cattle behavior recognition with spatio-temporal information

By 6 octobre 2020octobre 24th, 2020No Comments

Type de document : article publié dans Computers and Electronics in Agriculture

Auteurs : Alvaro Fuentes, Sook Yoon, Jongbin Park, Dong SunPark

Résumé en français (traduction) : Le comportement est un indicateur important pour comprendre le bien-être des animaux. Ce processus a souvent été mené à bien en observant des enregistrements vidéo pour détecter les changements grâce à une analyse statistique, ou en utilisant des appareils portables pour surveiller les mouvements des animaux. Cependant, en ce qui concerne le bien-être des animaux, l’utilisation de tels dispositifs pourrait affecter le comportement normal de l’animal et présenter des limites dans son application. Cet article présente une approche de la reconnaissance hiérarchique du comportement du bétail à l’aide d’informations spatio-temporelles basées sur le deep learning. Notre recherche étend l’idée de la reconnaissance d’activité en vidéo et se concentre spécifiquement sur le comportement du bétail. Notre cadre implique des caractéristiques d’apparence au niveau de l’image et des informations spatio-temporelles qui intègrent davantage de caractéristiques contextuelles-temporelles. Le système peut détecter (classe) et localiser (boîte englobante) des régions contenant plusieurs comportements du bétail dans les images vidéo. En outre, nous introduisons notre ensemble de données sur le comportement du bétail qui comprend des vidéos enregistrées avec des caméras RVB dans différentes exploitations d’élevage de jour et de nuit. Les résultats expérimentaux montrent que notre système peut reconnaître efficacement 15 types différents d’activités hiérarchiques divisées en activités individuelles et de groupe, et également des actions partielles. Une évaluation qualitative et quantitative démontre la performance de notre cadre comme méthode efficace pour surveiller le comportement du bétail.

Résumé en anglais (original) : Behavior is an important indicator for understanding the well-being of animals. This process has been frequently carried out by observing video records to detect changes with statistical analysis, or by using portable devices to monitor animal movements. However, regarding animal welfare, the use of such devices could affect the normal behavior of the animal, and present limitations in its applicability. This paper introduces an approach for hierarchical cattle behavior recognition with spatio-temporal information based on deep learning. Our research extends the idea of activity recognition in video and focuses specifically on cattle behavior. Our framework involves appearance features at frame-level and spatio-temporal information that incorporates more context-temporal features. The system can detect (class) and localize (bounding box) regions containing multiple cattle behaviors in the video frames. Additionally, we introduce our cattle behavior dataset that includes videos recorded with RGB cameras on different livestock farms during day and night environments. Experimental results show that our system can effectively recognize 15 different types of hierarchical activities divided into individual and group activities, and also part actions. Qualitative and quantitative evaluation evidence the performance of our framework as an effective method to monitor cattle behavior.

Logo de Computers and electronics in agriculture
Extrait du site de Computers and electronics in agricutlure