Systematic reviews (SRs) and systematic mapping aim to maximize transparency and comprehensiveness while minimizing subjectivity and bias. These are time-consuming and complex tasks, so SRs are considered resource intensive, but published estimates of systematic-review resource requirements are largely anecdotal. We analyzed all Collaboration for Environmental Evidence (CEE) SRs (n = 66) and maps (n = 20) published from 2012 to 2017 to estimate the average number of articles retained at each review stage. We also surveyed 33 experienced systematic reviewers to collate information on the rate at which those stages could be completed. In combination, these data showed that the average CEE SR takes an estimated 164 d (full-time equivalent) (SD 23), and the average CEE systematic map (SM) (excluding critical appraisal) takes 211 d (SD 53). While screening titles and abstracts is widely considered time-consuming, metadata extraction and critical appraisal took as long or longer to complete, especially for SMs. Given information about the planned methods and evidence base, we created a software tool that predicts time requirements of a SR or map with evidence-based defaults as a starting point. Our results shed light on the most time-consuming stages of the SR and mapping processes, will inform review planning, and can direct innovation to streamline processes. Future predictions of effort required to complete SRs and maps could be improved if authors provide more details on methods and results.
Pronóstico del Tiempo Necesario para las Revisiones Ambientales Sistemáticas y los Mapas Sistemáticos Resumen El mapeo sistemático y las revisiones sistemáticas buscan maximizar la transparencia y la exhaustividad mientras minimizan la subjetividad y la parcialidad. Estas son labores complejas que consumen tiempo, por lo que las revisiones sistemáticas se consideran como intensivas en recursos, pero en el caso de los requerimientos de los recursos para las revisiones sistemáticas las estimaciones publicadas son en su mayoría anecdóticas. Analizamos todas las revisiones sistemáticas (n = 66) y todos los mapas (n = 20) de la Colaboración para la Evidencia Ambiental (CEE, en inglés) publicados entre 2012 y 2017 para estimar el número promedio de artículos retenidos en cada etapa de revisión. También encuestamos a 33 revisores sistemáticos experimentado para cotejar la información sobre la tasa a la cual se podrían completar esas etapas. La combinación de estos datos mostró que la revisión sistemática promedio del CEE tarda un estimado de 164 días (equivalente de tiempo completo) (SD 23), y que el mapa sistemático promedio del CEE (excluyendo la evaluación crítica) tarda 211 días (SD 53). Se considera ampliamente que el proceso de selección de títulos y resúmenes consume mucho tiempo, pero la extracción de meta-datos y la evaluación crítica tarda la misma cantidad de tiempo, o más, para completarse, especialmente en el caso de los mapas sistemáticos. Con la información sobre los métodos planeados y la base de evidencias creamos una herramienta de software que predice los requerimientos de tiempo para un mapa sistemático o una revisión sistemática con defaults basados en evidencias como puntos de partida. Nuestros resultados traen a la luz las etapas de la revisión sistemática o del mapeo sistemático que más tiempo consumen, informarán sobre la planeación de revisiones, y pueden dirigir la innovación en los procesos simplificados. Los pronósticos futuros del esfuerzo requerido para completar los mapas y las revisiones sistémicos podría mejorarse si los autores proporcionar más detalles sobre los métodos y los resultados.
系统评估和系统绘图的目的是最大限度地提高透明度和全面性, 尽量减少主观性和偏见。这样的任务复杂且耗时, 所以系统评估被认为是资源密集型的, 然而, 已发表的关于系统评估所需资源的估计却又没有充足的依据。我们分析了《环境证据》协作组织 (Collaboration for Environmental Evidence, CEE) 在 2012 至 2017 年间发表的所有的系统评估 (n = 66) 和绘图 (n = 20) , 来估计每个评估阶段保留的文章平均数量。我们还访问了33 名有经验的系统评估专家, 分析得出各个阶段的完成速度。总的来说, 这些数据表明, CEE 系统评估平均需要约164 天 (全日制) (标准偏差 23 天) , CEE 系统绘图 ( 不包括评读文献) 平均需要 211 天 ( 标准偏差 53 天) 。虽然人们普遍认为筛选标题和摘要很费时, 但宏数据提取和严格评价也需要一样长甚至更长的时间, 特别是对于系统绘图来说。利用所设计的方法和证据基础的信息, 我们开发了一款以基于证据的默认值为起点的软件来预测进行系统评估或绘图所需时间。我们的结果找出了系统评估和绘图过程中最耗时的阶段, 可以为评估规划提供信息, 并指导方法创新来简化流程。在作者提供更多方法和结果的详细信息的情况下, 未来可以改进对完成系统评估和绘图所需工作的预测。【翻译: 胡怡思; 审校: 聂永刚】.
Keywords: carga laboral; compromiso de tiempo; cost; costo; efficiency; eficiencia; evidence synthesis; literature review; revisión de literatura; síntesis de evidencias; time commitment; workload; 工作量; 成本; 投入时间; 效率; 文献综述; 证据综合.
© 2018 Society for Conservation Biology.