Estimates of excess mortality during the COVID-19 pandemic strongly depend on subjective methodological choices

Herz. 2023 Jun;48(3):180-183. doi: 10.1007/s00059-023-05166-6. Epub 2023 May 4.

Abstract

Excess mortality is often used to assess the health impact of the COVID-19 pandemic. It involves comparing the number of deaths observed during the pandemic with the number of deaths that would counterfactually have been expected in the absence of the pandemic. However, published data on excess mortality often vary even for the same country. The reason for these discrepancies is that the estimation of excess mortality involves a number of subjective methodological choices. The aim of this paper was to summarize these subjective choices. In several publications, excess mortality was overestimated because population aging was not adjusted for. Another important reason for different estimates of excess mortality is the choice of different pre-pandemic reference periods that are used to estimate the expected number of deaths (e.g., only 2019 or 2015-2019). Other reasons for divergent results include different choices of index periods (e.g., 2020 or 2020-2021), different modeling to determine expected mortality rates (e.g., averaging mortality rates from previous years or using linear trends), the issue of accounting for irregular risk factors such as heat waves and seasonal influenza, and differences in the quality of the data used. We suggest that future studies present the results not only for a single set of analytic choices, but also for sets with different analytic choices, so that the dependence of the results on these choices becomes explicit.

Die Übersterblichkeit wird häufig verwendet, um die gesundheitlichen Auswirkungen der COVID-19-Pandemie zu beurteilen. Dazu gehört der Vergleich der Zahl von Todesfällen, die während der Pandemie festgestellt wurden, mit der Zahl von Todesfällen, die entgegen den Fakten ohne Pandemie zu erwarten gewesen wäre. Allerdings variieren die veröffentlichten Daten zur Übersterblichkeit oft, selbst für ein und dasselbe Land. Der Grund für diese Diskrepanzen liegt darin, dass die Schätzung der Übersterblichkeit ein Anzahl subjektiver methodischer Entscheidungen beinhaltet. Ziel der vorliegenden Arbeit war es, diese subjektive Auswahl zusammenzufassen. In verschiedenen Publikationen wurde Übersterblichkeit überschätzt, weil die Alterung der Bevölkerung nicht berücksichtigt worden war. Ein weiterer wichtiger Grund für unterschiedliche Schätzwerte der Übersterblichkeit besteht in der Auswahl verschiedener präpandemischer Referenzzeiträume, die für die Abschätzung der erwarteten Anzahl an Todesfällen verwendet wurden (z. B. nur 2019 oder 2015–2019). Andere Gründe für abweichende Ergebnisse umfassen eine unterschiedliche Auswahl von Indexperioden (z. B. 2020 oder 2020–2021), verschiedene Modellbildungen zur Bestimmung der erwarteten Sterblichkeitsraten (z. B. die Durchschnittsbildung der Sterblichkeitsraten vorangegangener Jahre oder die Verwendung linearer Trends), die Frage der Berücksichtigung unregelmäßiger Risikofaktoren wie Hitzewellen und saisonale Influenza sowie Unterschiede in der Qualität der verwendeten Daten. Die Autoren schlagen vor, dass zukünftige Studien ihre Ergebnisse nicht nur für einen einzelnen Satz von analytischen Entscheidungen darstellen, sondern auch für Sätze mit verschiedenen analytischen Entscheidungen, sodass die Abhängigkeit der Ergebnisse von diesen Entscheidungen deutlich wird.

Keywords: Data quality; Research design; Risk factors; Standardized mortality ratio; Statistical models.

Publication types

  • Review

MeSH terms

  • COVID-19*
  • Humans
  • Influenza, Human*
  • Pandemics
  • Risk Factors