Im Rahmen einer Lehrveranstaltung im Master Wirtschaftsinformatik haben wir das Paper „You can’t detect me! Using prompt engineering to generate undetectable student answers“ verfasst.
In unserem short paper untersuchen wir, wie gezieltes Prompt Engineering die Erkennungsrate von AI-generierten Antworten beeinflussen kann. Während Lehrkräfte auf Detektionstools setzen, um KI-generierte Inhalte zu identifizieren, können Studierende durch geschickte Variation ihrer Prompts den Stil der generierten Antworten anpassen und so die Erkennbarkeit verringern. Wir haben drei verschiedene AI-Detektoren getestet und festgestellt, dass bewusst eingebaute Unregelmäßigkeiten, eine dynamische Satzstruktur und ein weniger elaborierter Schreibstil die Erkennung drastisch reduzieren können. Gleichzeitig zeigte sich, dass die schwerer erkennbaren Antworten häufig einfacher und weniger ausgereift formuliert waren – ein Stil, der typischerweise mit jüngeren Lernenden assoziiert wird.
Als Datengrundlage wurden spezifische Aufgabenstellungen erstellt und mit verschiedenen Prompts bearbeitet, um unterschiedliche Antwortstile zu erzeugen. So konnten wir den Einfluss von gezieltem Prompt Engineering auf die Erkennung durch KI-Detektoren systematisch analysieren.