Given the sharp increase in agricultural and infrastructure development and the paucity of widespread data available to support conservation management decisions, a more rapid and accurate tool for identifying fish fauna in the world's largest freshwater ecosystem, the Amazon, is needed. Current strategies for identification of freshwater fishes require high levels of training and taxonomic expertise for morphological identification or genetic testing for species recognition at a molecular level. To overcome these challenges, we built an image masking model (U-Net) and a convolutional neural net (CNN) to classify Amazonian fish in photographs. Fish used to generate training data were collected and photographed in tributaries in seasonally flooded forests of the upper Morona River valley in Loreto, Peru in 2018 and 2019. Species identifications in the training images (n = 3068) were verified by expert ichthyologists. These images were supplemented with photographs taken of additional Amazonian fish specimens housed in the ichthyological collection of the Smithsonian's National Museum of Natural History. We generated a CNN model that identified 33 genera of fishes with a mean accuracy of 97.9%. Wider availability of accurate freshwater fish image recognition tools, such as the one described here, will enable fishermen, local communities, and citizen scientists to more effectively participate in collecting and sharing data from their territories to inform policy and management decisions that impact them directly.
Dado el aumento del desarrollo agrícola e infraestructura y la escasa información disponible para apoyar la toma de decisiones con respecto al manejo y la conservación de la fauna, es necesario contar con una herramienta más rápida y precisa para la identificación de peces en el ecosistema de agua dulce más grande del mundo, la Amazonía. Las estrategias actuales para la identificación de peces de agua dulce requieren altos niveles de capacitación y experiencia taxonómica para la identificación morfológica o las pruebas genéticas para el reconocimiento de especies a nivel molecular. Para superar estos desafíos, construimos un modelo de enmascaramiento de imágenes (U‐Net) y una red neuronal convolucional (CNN) para clasificar los peces amazónicos en las fotografías. Los peces utilizados para generar datos de entrenamiento fueron recolectados y fotografiados en afluentes de bosques inundables de la cuenca alta del río Morona en Loreto, Perú en 2018 y 2019. Las identificaciones de especies en las imágenes de entrenamiento (n = 3.068) fueron verificadas por ictiólogos expertos. Estas imágenes se complementaron con fotografías tomadas de ejemplares adicionales de peces amazónicos alojados en la colección ictiológica del Museo Nacional de Historia Natural del Smithsonian en Washington, DC. Se generó un modelo CNN que identificó 33 géneros de peces con una precisión media del 97,9%. Una mayor disponibilidad de herramientas precisas de reconocimiento de imágenes de peces de agua dulce, como la que se describe aquí, permitirá a los pescadores, las comunidades amazónicas y los “científicos ciudadanos” participar de manera más efectiva en la recopilación y el intercambio de datos de sus territorios para informar las políticas y decisiones de gestión que los afectan directamente.
Keywords: Neotropical; computer vision; conservation technology; deep machine learning; freshwater fish; species identification.
© 2023 The Authors. Ecology and Evolution published by John Wiley & Sons Ltd.