Facial recognition by cloud-based APIs following surgically assisted rapid maxillary expansion

J Orofac Orthop. 2023 Sep 29. doi: 10.1007/s00056-023-00494-y. Online ahead of print.

Abstract

Introduction: This study aimed to investigate whether the facial soft tissue changes of individuals who had undergone surgically assisted rapid maxillary expansion (SARME) would be detected by three different well-known facial biometric recognition applications.

Methods: To calculate similarity scores, the pre- and postsurgical photographs of 22 patients who had undergone SARME treatment were examined using three prominent cloud computing-based facial recognition application programming interfaces (APIs): AWS Rekognition (Amazon Web Services, Seattle, WA, USA), Microsoft Azure Cognitive (Microsoft, Redmond, WA, USA), and Face++ (Megvii, Beijing, China). The pre- and post-SARME photographs of the patients (relaxed, smiling, profile, and semiprofile) were used to calculate similarity scores using the APIs. Friedman's two-way analysis of variance and the Wilcoxon signed-rank test were used to compare the similarity scores obtained from the photographs of the different aspects of the face before and after surgery using the different programs. The relationship between measurements on lateral and posteroanterior cephalograms and the similarity scores was evaluated using the Spearman rank correlation.

Results: The similarity scores were found to be lower with the Face++ program. When looking at the photo types, it was observed that the similarity scores were higher in the smiling photos. A statistically significant difference in the similarity scores (P < 0.05) was found between the relaxed and smiling photographs using the different programs. The correlation between the cephalometric and posteroanterior measurements and the similarity scores was not significant (P > 0.05).

Conclusion: SARME treatment caused a significant change in the similarity scores calculated with the help of three different facial recognition programs. The highest similarity scores were found in the smiling photographs, whereas the lowest scores were found in the profile photographs.

Zusammenfassung: EINLEITUNG: In dieser Studie sollte untersucht werden, ob die Weichteilveränderungen im Gesicht von Personen, die sich einer chirurgisch unterstützten schnellen Oberkiefererweiterung (SARME) unterzogen haben, von 3 verschiedenen bekannten Anwendungen zur biometrischen Gesichtserkennung erkannt werden.

Methoden: Zur Berechnung von Ähnlichkeitsscores wurden die prä- und postoperativen Fotos von 22 Patienten, die sich einer SARME-Behandlung unterzogen hatten, mit 3 namhaften Cloud-Computing-basierten Programmierschnittstellen (APIs) für die Gesichtserkennung untersucht: AWS Rekognition (Amazon Web Services, Seattle/WA, USA), Microsoft Azure Cognitive (Microsoft, Redmond/WA, USA) und Face++ (Megvii, Peking, China). Die Prä- und Post-SARME-Fotos der Patienten (entspannt, lächelnd, Profil und Halbprofil) wurden zur Berechnung der Ähnlichkeitsscores mithilfe der APIs verwendet. Mithilfe der zweiseitigen Friedman-Varianzanalyse und des Wilcoxon-Signed-Rank-Tests wurden die Ähnlichkeitswerte verglichen, die aus den Fotografien der verschiedenen Aspekte des Gesichts vor und nach der Operation mit den verschiedenen Programmen ermittelt wurden. Die Beziehung zwischen den Messungen auf den lateralen und posteroanterioren Kephalogrammen und den Ähnlichkeitswerten wurde anhand der Spearman-Rangkorrelation bewertet.

Ergebnisse: Es wurde festgestellt, dass die Ähnlichkeitswerte mit dem Programm Face++ niedriger sind. Bei der Betrachtung der Fototypen wurde festgestellt, dass die Ähnlichkeitswerte bei den lächelnden Fotos höher waren. Es wurde ein statistisch signifikanter Unterschied in den Ähnlichkeitswerten (p < 0,05) zwischen den entspannten und lächelnden Fotos mit den verschiedenen Programmen festgestellt. Die Korrelation zwischen den kephalometrischen und posteroanterioren Messungen und den Ähnlichkeitswerten war nicht signifikant (p > 0,05).

Schlussfolgerung: Die SARME-Therapie bewirkte eine signifikante Veränderung der Ähnlichkeitswerte, die mithilfe von 3 verschiedenen Gesichtserkennungsprogrammen berechnet wurden. Die höchsten Ähnlichkeitswerte wurden bei den lächelnden Fotos gefunden, die geringsten dagegen bei den Profilfotos.

Keywords: Amazon Web Services; Application programming interfaces; Artificial intelligence; Azure; Face++.