In restoration science, evidence reviews play a crucial role in summarizing research findings in practice and policy. However, if unreliable or inappropriate methods are used to review evidence, decisions based on these reviews may not accurately reflect the available evidence base. To assess the current value of restoration reviews, we examined a sample of meta-analyses and narrative syntheses (n = 91) with the Collaboration for Environmental Evidence Synthesis Assessment Tool (CEESAT), which uses detailed criteria to assesses the method of policy-relevant evidence synthesis according to elements important for objectivity, transparency, and comprehensiveness. Overall, reviews scored low based on this standard: median score 16 out of 39, modal score 15, and mean 16.6. Meta-analyses scored higher than narrative syntheses (median 17 vs. 5, respectively), although there were some outlier narrative syntheses that had high scores, suggesting that quantitative synthesis does not solely reflect the reliability of a review. In general, criteria spanning the more fundamental review stages (i.e., searching for studies and including studies) received low scores for both synthesis types. Conversely, criteria comprising the later stages of the review (i.e., critical appraisal, data extraction, and data synthesis) were generally well described in meta-analyses; thus, these criteria achieved the highest individual CEESAT scores. We argue that restoration ecology is well positioned to advance so-called evidence-based restoration, but review authors should elucidate their conceptual understanding of evidence syntheses and recognize that conducting reliable reviews demands the same methodological rigor and reporting standards used in primary research. Given the potential of evidence reviews to inform management, policy, and research, it is of vital importance that the overall methodological reliability of restoration reviews be improved.
Confiabilidad de los Métodos de Revisión de Evidencias en la Ecología de Restauración Resumen Para las ciencias de la restauración, las revisiones de evidencias juegan un papel muy importante en la síntesis de los hallazgos de las investigaciones en la práctica y en las políticas. Sin embargo, si se usan métodos poco fiables o inapropiados para revisar las evidencias, las decisiones que se tomen con base en estas revisiones pueden no reflejar acertadamente la base disponible de evidencias. Para analizar el valor actual de las revisiones de restauraciones examinamos una muestra de metaanálisis y síntesis narrativas (n = 91) con la Herramienta para la Síntesis de Análisis de la Colaboración para la Evidencia Ambiental (CEESAT), la cual usa criterios detallados para analizar el método de síntesis de evidencias relevantes para las políticas de acuerdo con los elementos importantes para la objetividad, transparencia y exhaustividad. En general, las revisiones tuvieron puntajes bajos con base en este estándar (puntaje medio: 16 de 39, puntaje modal: 15, media: 16.6). Los metaanálisis tuvieron un puntaje más alto que las síntesis narrativas (mediana: 17 vs 5, respectivamente), aunque hubo algunas síntesis narrativas atípicas que tuvieron puntajes altos, lo que sugiere que la síntesis cuantitativa no refleja por sí sola la confiabilidad de una revisión. En suma, los criterios que abarcaron las etapas de revisión más fundamentales (es decir, buscar estudios e incluir estudios) recibieron puntajes bajos para ambos tipos de síntesis. Al contrario, los criterios que comprendieron las etapas tardías de la revisión (es decir, la valoración crítica, la extracción de datos y la síntesis de los datos) estuvieron generalmente bien descritos en los metaanálisis; por lo tanto, estos criterios alcanzaron los puntajes CEESAT individuales más altos. Argumentamos que la ecología de restauración se encuentra bien posicionada para adelantar la llamada restauración basada en evidencias, pero los autores de las revisiones deberían aclarar su entendimiento conceptual de la síntesis de evidencias y reconocer que la realización de revisiones confiables requiere el mismo rigor metodológico y los mismos estándares de reporte usados en la investigación primaria. Dado el potencial que tienen las revisiones de evidencias para orientar el manejo, las políticas y la investigación, es de vital importancia que se mejore la confiabilidad metodológica generalizada de las revisiones de restauración.
Keywords: CEE; CEESAT; Colaboración para la Evidencia Ambiental; Collaboration for Environmental Evidence; Collaboration for Environmental Evidence Synthesis Assessment Tool; Herramienta para la Síntesis de Análisis de la Colaboración para la Evidencia Ambiental; confiabilidad de revisión; evidence-based restoration; restauración basada en evidencias; restoration synthesis; review reliability; síntesis de restauración.
© 2020 Society for Conservation Biology.