Introduction: There is a high heterogeneity in the structure of postgraduate medical training evaluation worldwide. However, in contrast to other countries, there have been no scientific studies of the final medical board examination, in Portugal. The present study aimed to evaluate the adequacy of the medical board examination including its validity as measured by its association with medical school grade average and national seriation examination.
Material and methods: Cross-sectional, observational study. We analyzed the final results on the medical board examination of 2439 physicians, across 47 specialties, who completed their training in 2016 and 2017, using measures of central tendency and variability. We assessed the association between these grades and the national exam to initiate residency, and the grade average in Medical School.
Results: Measures of central tendency and variability, and consequent shape measures, revealed that the distribution of the scores of the final medical board exam is extremely negatively asymmetric and leptokurtic. A positive association was also found between the results in this exam and the score on national exam to initiate residency, and the grade average in Medical School.
Conclusion: Although the medical board examination was, in general, positively associated with scores on the national exam to initiate residency, and the mean final Medical School grades, thus indicating its potential validity, our results demonstrate that this exam presents no satisfactory discriminative capacity. Therefore, there is room to improve the actual postgraduate medical examination model, including changes in its classification system and potentially consider other assessment models.
Introdução: Existe uma elevada heterogeneidade na estrutura da avaliação da formação médica pós-graduada a nível mundial. No entanto, contrastando com outros países, não existem estudos científicos em Portugal que tenham avaliado o modelo da avaliação final da especialidade. O presente estudo pretendeu avaliar a adequação do exame do final da especialidade aos seus propósitos; aí incluída a sua validade enquanto consubstanciada na relação com a prova nacional de seriação e média final de curso de medicina. Material e Métodos: Estudo transversal, observacional. Foram analisadas com recurso a medidas de tendência central e variabilidade, as notas na avaliação final da especialidade de 2439 médicos, de 47 especialidades, que terminaram a sua formação em 2016 e 2017. Tendo em vista a sua validação cruzada, foram também avaliadas as correlações com a média final de curso e a nota na prova nacional de seriação. Resultados: Das medidas de tendência central e variabilidade, e consequentes medidas de formato, resulta que a distribuição das pontuações do exame final de especialidade se apresenta com uma forma manifestamente assimétrica negativa e leptocúrtica. No geral, verificou-se a existência de uma associação positiva entre a avaliação final da especialidade e a média de curso e a prova nacional de seriação. Conclusão: Apesar de positivamente associado, no geral, com a média de curso e a prova nacional de seriação, o que indica a sua potencial validade, os resultados demonstram que a avaliação final de especialidade não apresenta uma capacidade discriminativa satisfatória. Deste modo, existe oportunidade para melhoria do modelo atual, nomeadamente através da alteração ao seu sistema de classificação e considerando outros modelos de exame.
Keywords: Education, Medical, Graduate; Educational Measurement; Internship and Residency; Models, Educational; Schools, Medical.