Fair Enough

Fair Enough?

Vorträge und Veröffentlichungen

Verbundvorhaben zwischen der HTW Berlin und der Heinrich-Heine Universität Düsseldorf

Im Projekt “ Fair Enough?” soll untersucht werden, wie die Fairness von Learning Analytics Systemen überprüft und auditiert werden kann.

Datenbasierte Verfahren zur Analyse, Vorhersage und Bewertung von Lernprozessen (Learning Analytics) können die in den Daten enthaltenen Vorurteile reproduzieren und zu unfairen Ergebnissen führen. Die gesellschaftlichen Folgen von algorithmischen Entscheidungsprozessen werden durch die Kombination der implementierten algorithmischen Verfahren mit den verwendeten Daten und dem Nutzer_innenverhalten determiniert. Während die Fairness algorithmischer Verfahren in der Informatik vorrangig nach quantitativen, formal-analytischen Maßstäben beurteilt wird, die nicht alle zur gleichen Zeit erfüllt sein können, beurteilen Nutzer_innen die Fairness algorithmischer Verfahren eher auf ihrer subjektiven, individuellen Wahrnehmung und den gesellschaftlichen Normen. Deshalb wird das Thema im Projekt von zwei komplementären Seiten untersucht:

  • Entwicklung von praxistauglichen Methoden zur Beurteilung von Learning Analytics Systemen und Daten auf Ihre Fairness,
  • Untersuchung der Anforderungen und Erwartungen von Nutzer_innen an die Fairness von Learning Analytics Systemen.

Im Projekt „Fair Enough?“ soll ein Werkzeug in Form eines 6-Stufigen Leitfadens zur
Überprüfung von Learning Analytics Systemen hinsichtlich ihrer Fairness entstehen, welcher sowohl die Fairness des Systems aus Daten und Algorithmen als auch den Verwendungsprozess der durch das System getroffenen Aussagen berücksichtigt.

Das folgende Video stellt das Projekt kurz vor:

Im Projekt „Fair Enough?“ entstandene wissenschaftliche Publikationen

  • Rzepka, N., Fernsel, L., Müller, H., Simbeck, K., Pinkwart, N. (in press). Unbias me! Mitigating Algorithmic Bias for Less-studied Demographic Groups in the Context of Language Learning Technology. In: Ryan S. Baker, Ma. Mercedes T. Rodrigo (Hrsg.): CBLC Computer-Based Learning in Context.
  • Simbeck, K., (2023). They shall be fair, transparent, and robust: auditing learning analytics systems. In: John MacIntyre, Larry Medsker (Hrsg.): AI and Ethics, 3(2), 1–17. Springer. https://doi.org/10.1007/s43681-023-00292-7
  • Fernsel, L. & Simbeck, K. (2022). Data Synthesis for Fairness Audits of Learning Analytics Algorithms. In: 25. Tagung des Arbeitskreis Wirtschaftsinformatik an Hochschulen für angewandte Wissenschaften (AKWI) (S. 117–131). Berlin. https://doi.org/10.30844/akwi_2022
  • Simbeck, K., (2022). FAccT-Check on AI regulation: Systematic Evaluation of AI Regulation on the Example of the Proposed Legislation on the Use of AI in the Public Sector in the German Federal State of Schleswig-Holstein. In: Conference on Fairness, Accountability, and Transparency in Machine Learning (ACM FAccT). Seoul. https://doi.org/10.1145/3531146.3533076
  • Simbeck, K. (2022). Künstliche Intelligenz und Fairness im Bildungskontext. In: Verständig, D., Kast, C., Stricker, J. & Nürnberger A. (Hrsg.): Algorithmen und Autonomie. Interdisziplinäre Perspektiven auf das Verhältnis von Selbstbestimmung und Datenpraktiken (S. 91-100). Verlag Barbara Budrich, Leverkusen. https://doi.org/10.3224/84742520
  • Tagharobi, H. & Simbeck, K, (2022). Introducing a Framework for Code Based Fairness Audits of Learning Analytics Systems on the Example of Moodle Learning Analytics. In CSEDU 2022 14th International Conference on Computer Supported Education, 2, 45–55. https://doi.org/10.5220/0010998900003182
  • Tagharobi, H. & Simbeck, K., (2021). Studying Algorithmic Fairness in Moodle Learning Analytics Using Code Analysis. In ECEL 2021 20th European Conference on e-Learning (S. 444-449). Academic Conferences International limited.

Zum Abschluss des Projektes „Fair Enough“ wurde ein Leitfaden veröffentlicht:

Im Projekt „Fair Enough?“ veröffentlichter Code und Daten

  • LaLA (Moodle Plugin) Coderepository – LaLA ist ein Moodle-Plugin, das es Administrator:innen und Auditor:innen von Moodle-Learning-Analytics-Modellen ermöglicht, Nachweise für einen Audit abzurufen, z. B. die in der Moodle-Instanz gesammelten Beispieldaten, die berechneten Features und die vom Learning-Analytics-Modell gemachten Vorhersagen.
  • Weitere Code- und Datenrepositories

Im Projekt „Fair Enough?“ entstandene OER

  • KI und Gesellschaft (Struktur, Inhalte und Ideen für eine Unterrichtseinheit in der Mittelstufe): PDF (Version: Oktober 2023) | Seite auf ZUM Unterrichten (Version: Januar 2024)
  • KI und Umwelt (Struktur, Inhalte und Ideen für eine Unterrichtseinheit in der Mittelstufe): PDF (Version: Februar 2024)
  • Faires Machine Learning
    • Struktur, Inhalte und Ideen für eine Unterrichtseinheit in der Oberstufe oder Hochschule: PDF (Version: November 2023)
    • Handout oder Selbstlerneinheit: PDF (Version: November 2023)

Im Projekt „Fair Enough?“ entstandene Präsentationen

  • In fair models we trust. Introducing a plugin for auditing Moodle Learning Analytics models. Vorgestellt von Linda Fernsel am 21.09.2023 auf der Moodle MOOT Global Konferenz in Barcelona. PDF (Version: September 2023) | Video
  • Ethische KI. Vorgestellt von Linda Fernsel am 15.11.2023 im KI-Forum der HTW Berlin. PDF (Version: November 2023)
  • Learning Analytics in Moodle. Vorgestellt von Linda Fernsel am 01.02.2024 im zugehörigen Online-Workshop: PDF (Version: Januar 2024)

Moodle Workshop

  • Learning Analytics in Moodle. Vorgestellt von Linda Fernsel am 18.01.2024 im zugehörigen Workshop an der HTW Berlin
    • Präsentation: PDF (Version: Januar 2024)
    • Zusammenfassung Technischer Teil: PDF (Version: Januar 2024)

Vergangene und aktuell bearbeitete Abschlussarbeiten im Projekt „Fair Enough?“

  • Usability Evaluation existierender Fairness Audit Tools (WS22, Bachelor)
  • Erstellung eines didaktischen Konzepts für einen asynchronen, anfängerfreundlichen E-Learning Kurs zum Thema Datensynthese (WS22, Bachelor)
  • Erstellung eines didaktischen Konzepts für einen E-Learning Kurs zum Thema Algorithmic Fairness (WS22, Bachelor)
  • Implementierung von Methoden für benutzerdefinierte Datensynthese (SS23, Bachelor)
  • Beurteilung und Verbesserung mehrerer KI-Systeme in Compliance auf die Human Agency und Transparenz. (WS 23, Bachelor)
  • Einsatz und Nutzen von KI-Anwendungen im Bildungswesen (WS 23, Bachelor)
  • Entwicklung einer Suchmaschine mit einer gleichberechtigten Anzeige von Suchergebnissen unabhängig der verwendeten Genderform (WS23, Bachelor)
  • Prototypische Implementierung eines Moodle-Plugins zur Unterstützung des selbstregulierten Lernens (WS 23, Bachelor)
  • Systematische Untersuchung von Stellenanzeigen im öffentlichen Dienst im Hinblick auf genderspezifische Formulierungen (WS23, Master)
  • Untersuchung des Energieverbrauchs von prototypischen KI-Implementierungen (WS23, Master)

Projektlaufzeit
01.03.2021 – 29.02.2024

Projektleitung
Prof. Dr. Katharina Simbeck
Jun.-Prof. Dr. Marius Wehner

Projektmitarbeiter/innen
Linda Fernsel
Yannick Kalff

Studentische Hilfskräfte

Pascal Hamar

Ehemalige Mitarbeiter/innen und studentische Hilfskräfte

Hassan Tagharobi
Nathalie Rzepka

Fiona Fischer
Marlene Bültemann
Monika Resner
Simon Lugenbiehl
Yasmine Haidri

Mittelgeber
Bundesministerium für Bildung und Forschung