Studying animal behaviour allows us to understand how different species and individuals navigate their physical and social worlds. Video coding of behaviour is considered a gold standard: allowing researchers to extract rich nuanced behavioural datasets, validate their reliability, and for research to be replicated. However, in practice, videos are only useful if data can be efficiently extracted. Manually locating relevant footage in 10,000 s of hours is extremely time-consuming, as is the manual coding of animal behaviour, which requires extensive training to achieve reliability. Machine learning approaches are used to automate the recognition of patterns within data, considerably reducing the time taken to extract data and improving reliability. However, tracking visual information to recognise nuanced behaviour is a challenging problem and, to date, the tracking and pose-estimation tools used to detect behaviour are typically applied where the visual environment is highly controlled. Animal behaviour researchers are interested in applying these tools to the study of wild animals, but it is not clear to what extent doing so is currently possible, or which tools are most suited to particular problems. To address this gap in knowledge, we describe the new tools available in this rapidly evolving landscape, suggest guidance for tool selection, provide a worked demonstration of the use of machine learning to track movement in video data of wild apes, and make our base models available for use. We use a pose-estimation tool, DeepLabCut, to demonstrate successful training of two pilot models of an extremely challenging pose estimate and tracking problem: multi-animal wild forest-living chimpanzees and bonobos across behavioural contexts from hand-held video footage. With DeepWild we show that, without requiring specific expertise in machine learning, pose estimation and movement tracking of free-living wild primates in visually complex environments is an attainable goal for behavioural researchers.
L'étude du comportement animal nous permet de comprendre comment différentes espèces et différents individus naviguent dans leur monde physique et social. Le codage vidéo du comportement est considéré comme une référence: il permet aux chercheurs d'extraire des ensembles de données comportementales riches et nuancées, de valider leur fiabilité et de reproduire les recherches. Toutefois, dans la pratique, les vidéos ne sont utiles que si les données peuvent être extraites efficacement. La localisation manuelle de séquences pertinentes parmi des dizaines de milliers d'heures prend énormément de temps, tout comme le codage manuel du comportement animal, qui nécessite une formation approfondie pour être fiable. Les approches d'apprentissage automatique sont utilisées pour automatiser la reconnaissance de modèles dans les données, ce qui réduit considérablement le temps nécessaire à l'extraction des données et améliore la fiabilité. Toutefois, le suivi des informations visuelles pour reconnaître un comportement nuancé est un problème difficile et, à ce jour, les outils de suivi et d'estimation de la pose utilisés pour détecter le comportement sont généralement appliqués lorsque l'environnement visuel est hautement contrôlé. Les chercheurs en comportement animal sont intéressés par l'application de ces outils à l'étude des animaux sauvages, mais il n'est pas clair dans quelle mesure cela est actuellement possible, ni quels outils sont les mieux adaptés à des problèmes particuliers. Pour combler ce manque de connaissances, nous décrivons les nouveaux outils disponibles dans ce paysage en évolution rapide, proposons des conseils pour la sélection des outils, fournissons une démonstration pratique de l'utilisation de l'apprentissage automatique pour suivre les mouvements dans les données vidéo des grands singes sauvages et mettons nos modèles de base à disposition pour utilisation. Nous utilisons un outil d'estimation de la pose, DeepLabCut, pour démontrer l'apprentissage réussi de deux modèles pilotes d'un problème extrêmement difficile d'estimation et de suivi de la pose: les chimpanzés et les bonobos sauvages vivant dans la forêt et représentant plusieurs animaux dans différents contextes comportementaux à partir de séquences vidéo tenues à la main. Avec DeepWild, nous montrons que, sans nécessiter d'expertise spécifique en apprentissage automatique, l'estimation de la pose et le suivi des mouvements de primates sauvages vivant en liberté dans des environnements visuellement complexes est un objectif réalisable pour les chercheurs en comportement.
Keywords: artificial intelligence; automation; behaviour; deep learning; machine learning; primate.
© 2023 The Authors. Journal of Animal Ecology published by John Wiley & Sons Ltd on behalf of British Ecological Society.