Measurement properties of occupational health and safety management audits: a systematic literature search and traditional literature synthesis

Can J Public Health. 2010 Mar-Apr;101 Suppl 1(Suppl 1):S34-40. doi: 10.1007/BF03403844.

Abstract

Objective: The measurement properties of Occupational Health and Safety (OHS) management audits might be important in some applications, especially when audit scores are treated as performance measures. The review, therefore, sought to identify and summarize the research evidence on the measurement properties (e.g., reliability, validity) of methods of OHS management audit.

Methods: Bibliographic databases in business, medicine and OHS were systematically searched. Evidence from relevant publications was synthesized using traditional narrative review methods.

Synthesis: The literature on the measurement properties of OHS management audit methods is sparse. Seventeen relevant audit methods were identified. Content validity was demonstrated for only five audit methods. Inter-rater reliability was formally tested for only three audit methods and construct validity for only one. There were no studies of test-retest reliability or responsiveness. The investigations of inter-rater reliability (i.e., consistency among auditors) showed that it is often unacceptably low.

Conclusion: There is a research gap concerning the measurement properties of OHS management audit methods. The available research raises questions about the properties of audit methods in current use.

Objectif: Les propriétés de mesure des audits de gestion en santé et sécurité du travail (SST) pourraient être importantes pour certaines applications, surtout lorsque les scores d’audit sont considérées comme des mesures de rendement. Nous avons donc voulu répertorier et résumer les résultats de recherche sur les propriétés de mesure (p. ex., fiabilité, validité) des méthodes utilisées pour les audits de gestion en SST.

Méthode: Les bases de données bibliographiques des domaines des affaires, de la médecine et de la SST ont été systématiquement interrogées. Les données probantes de publications pertinentes ont été résumées à l’aide de méthodes classiques de recension narrative des écrits.

Synthèse: Les travaux publiés sur les propriétés de mesure des méthodes utilisées pour les audits de gestion en SST sont rares. Dix-sept méthodes d’audit pertinentes ont été recensées. Nous n’avons pu démontrer la validité de contenu que pour cinq de ces méthodes. La fiabilité inter-évaluateurs n’a été véritablement testée que pour trois méthodes d’audit, et la validité de construit, pour une seule méthode. Il n’y avait aucune étude de fiabilité de test-retest, ni de sensibilité. Les études de fiabilité inter-évaluateurs (cohérence d’un évaluateur à l’autre) ont montré que cette fiabilité est souvent trop faible pour être acceptable.

Conclusion: Il y a des lacunes dans la recherche sur les propriétés de mesure des méthodes de gestion en SST. Les travaux publiés soulèvent des questions quant aux propriétés des méthodes d’audit utilisées actuellement.

Publication types

  • Research Support, Non-U.S. Gov't
  • Review

MeSH terms

  • Canada
  • Databases, Factual
  • Humans
  • Management Audit*
  • Occupational Health*