In this paper, we describe the concept and ongoing work of the project defalsif-AI, which addresses the protection of critical infrastructures against disinformation and fake news. Defalsif-AI deals particularly with the protection of the main democratic processes and the public trust in democracy and its institutions against engineered social media attacks, which, for example, attempt to manipulate the electoral process. Federal ministries and media institutions require new methods and tools to evaluate the ever increasing amount of digital media in terms of identification, verification, and correction of sources. Based on these requirements, the project focuses on research on audio-visual media forensics, text analysis, and multimodal fusion with the support of artificial intelligence (AI) and machine learning methods. One main focus of this research is to make the results more comprehensible and interpretable for non-experts in the forensic/technical field. The primary project outcome is a proof of concept of a multimodal detection platform, which can operate with a variety of sources, including the surface web and social media. Additional research carried out within the project focuses on providing and generating multimodal data necessary to train and test machine learning models. Finally, an analysis and assessment concerning the law and social science are carried out as well.
In diesem Beitrag beschreiben wir das Konzept und die laufenden Arbeiten des Projekts defalsif-AI, das sich mit dem Schutz kritischer Infrastrukturen vor Desinformation und Fake News beschäftigt. Insbesondere geht es bei defalsif-AI um den Schutz demokratischer Kern-Prozesse und des öffentlichen Vertrauens in die Demokratie und ihre Institutionen vor konstruierten Social-Media-Angriffen, welche beispielsweise versuchen, den Wahlprozess zu manipulieren. Die öffentliche Verwaltung, aber auch Medienhäuser, benötigen neue Methoden und Werkzeuge, um die immer größer werdenden Mengen digitaler Medien hinsichtlich der Identifizierung, Verifizierung und Korrektur von Quellen auszuwerten. Ausgehend von diesen Anforderungen konzentriert sich das Projekt auf die Forschung in den Bereichen audiovisuelle Medienforensik, Textanalyse und multimodale Fusion unter Zuhilfenahme von Methoden der künstlichen Intelligenz (KI) und des maschinellen Lernens. Ein Hauptaugenmerk dieser Forschung liegt auf der Verbesserung der Verständlichkeit und Interpretierbarkeit der Ergebnisse für Laien im forensischen/technischen Bereich. Das primäre Projektergebnis ist ein Proof-of-Concept einer multimodalen Detektionsplattform, welche mit einer Vielzahl von Quellen arbeiten kann, wie etwa dem Surface Web und sozialen Medien. Weitere Forschung innerhalb des Projekts konzentriert sich auf die Bereitstellung und Generierung multimodaler Daten, die zum Trainieren und Testen von Modellen des maschinellen Lernens erforderlich sind. Schließlich werden auch eine rechts- und sozialwissenschaftliche Analyse und Bewertung durchgeführt.
Keywords: critical infrastructures; disinformation; fake news; multimodal detection of fake news; multimodal fusion.
© Springer-Verlag GmbH Austria, ein Teil von Springer Nature 2021.