Identifying threatened ecosystem types is fundamental to conservation and management decision-making. When identification relies on expert judgment, decisions are vulnerable to inconsistent outcomes and can lack transparency. We elicited judgements of the occurrence of a widespread, critically endangered Australian ecosystem from a diverse pool of 83 experts. We asked 4 questions. First, how many experts are required to reliably conclude that the ecosystem is present? Second, how many experts are required to build a reliable model for predicting ecosystem presence? Third, given expert selection can narrow the range opinions, if enough experts are selected, do selection strategies affect model predictions? Finally, does a diverse selection of experts provide better model predictions? We used power and sample size calculations with a finite population of 200 experts to calculate the number of experts required to reliably assess ecosystem presence in a theoretical scenario. We then used boosted regression trees to model expert elicitation of 122 plots based on real-world data. For a reliable consensus (90% probability of correctly identifying presence and absence) in a relatively certain scenario (85% probability of occurrence), at least 17 experts were required. More experts were required when occurrence was less certain, and fewer were needed if permissible error rates were relaxed. In comparison, only ∼20 experts were required for a reliable model that could predict for a range of scenarios. Expert selection strategies changed modeled outcomes, often overpredicting presence and underestimating uncertainty. However, smaller but diverse pools of experts produced outcomes similar to a model built from all contributing experts. Combining elicited judgements from a diverse pool of experts in a model-based decision support tool provided an efficient aggregation of a broad range of expertise. Such models can improve the transparency and consistency of conservation and management decision-making, especially when ecosystems are defined based on complex criteria.
La importancia de seleccionar expertos para identificar ecosistemas amenazados Resumen La identificación de los tipos de ecosistemas amenazados es fundamental para decidir sobre su conservación y gestión. Cuando la identificación se basa en la opinión de expertos, las decisiones son vulnerables a resultados incoherentes y pueden carecer de transparencia. Recabamos la opinión de 83 expertos sobre la presencia de un ecosistema australiano extendido y en peligro crítico. Se plantearon cuatro preguntas: ¿Cuántos expertos son necesarios para concluir con fiabilidad que el ecosistema está presente?; ¿Cuántos expertos son necesarios para construir un modelo fiable de predicción de la presencia del ecosistema?; ya que la selección de expertos puede reducir el rango de opiniones, si se seleccionan suficientes expertos, ¿afectan las estrategias de selección a las predicciones del modelo; y ¿Una selección diversa de expertos proporciona mejores predicciones del modelo? Utilizamos cálculos de potencia y tamaño de muestra con una población finita de 200 expertos para obtener el número de expertos necesarios para evaluar de forma fiable la presencia de ecosistemas en un escenario teórico. Después usamos árboles de regresión reforzada para modelar la consulta de expertos de 122 parcelas basadas en datos del mundo real. Para obtener un consenso fiable (90% de probabilidad de identificar correctamente la presencia y la ausencia) en un escenario relativamente seguro (85% de probabilidad de ocurrencia), se necesitaban al menos 17 expertos. Se necesitaban más expertos cuando la ocurrencia era menos segura, y menos si se relajaban los porcentajes de error permitidos. En comparación, sólo se necesitaron unos 20 expertos para obtener un modelo fiable que pudiera predecir una serie de escenarios. Las estrategias de selección de expertos modificaron los resultados modelados, a menudo con sobre predicción de la presencia y subestimación de la incertidumbre. Sin embargo, los grupos de expertos más pequeños pero diversos produjeron resultados similares a los de un modelo construido a partir de todos los expertos participantes. La combinación de las opiniones obtenidas de un grupo diverso de expertos en una herramienta de apoyo a la toma de decisiones basada en un modelo proporcionó una agregación eficiente de una amplia gama de conocimientos. Estos modelos pueden mejorar la transparencia y coherencia de la toma de decisiones en materia de conservación y gestión, especialmente cuando los ecosistemas se definen en función de criterios complejos.
Keywords: boosted regression trees; bosques de boj; box gum woodland; comunidad ecológica en peligro crítico; consulta de expertos; critically endangered ecological community; ecosistema en peligro; endangered ecosystems; evidence-based management; expert elicitation; expert selection; juicio experto estructurado; manejo basado en evidencias; selección de expertos; structured expert judgement; árboles de regresión reforzada.
© 2023 Society for Conservation Biology.