Ich arbeite im Projekt Sociology of Soccer offen mit Halluzinationen von KI-Systemen: Wenn KI vermeintliche Beobachtungen oder Literatur „erfindet“, markiere ich sie sichtbar im Blog – mit Durchstreichung – und nutze sie als Ideen-Generator für Interviews, Feldnotizen und neue Hypothesen. So habe ich Halluzinationen lieben gelernt.

Hinführung

KI-Modelle sind probabilistische Textgeneratoren. Sie kombinieren Bausteine der Wahrscheinlichkeit zu plausiblen Aussagen – manchmal zu plausibel. Solche Halluzinationen sind ärgerlich, wenn man sie für Fakten hält. Sie werden produktiv, wenn ich sie als vorläufige Theorie-Fragmente behandle: als Hypothesen, die ich im Feld prüfe (vgl. Popper 1959). (Taylor & Francis)

Was meine ich mit „Halluzination“?

Mit „Halluzination“ bezeichne ich inhaltsstarke, aber unbelegte Aussagen des Modells – z. B. frei erfundene Zitate, nicht existierende Studien oder Beobachtungen, die nie stattgefunden haben. Im Projekt halte ich diese Stellen absichtlich sichtbar:

Beispiel im Blog (kennzeichnend):
„Im Spiel XY am 14.05.2024 gab es einen Fan-Walk mit 12.000 Teilnehmenden.“ – [gekennzeichnet als Halluzination; wird im Feld überprüft]

Diese Praxis folgt meinem konstruktivistischen Forschungsansatz: Ich nutze generative Vorannahmen als Material für Theoriearbeit (vgl. Charmaz 2006). (uk.sagepub.com)

Mein Umgang im Projekt Sociology of Soccer

1) Sichtbar machen statt löschen

Ich lösche Halluzinationen nicht reflexhaft. Ich markiere sie (Durchstreichung) und verlinke – wo möglich – auf verifizierte Quellen oder meine Feldprotokolle. Das hält den Forschungsprozess nachvollziehbar und reduziert „kognitive Last“ bei Lesenden (vgl. Sweller 1988). (Wiley Online Library)

2) Aus Halluzinationen werden Hypothesen

Ich behandle jede Halluzination als Prüfstein: Welche Annahme steckt darin? Welche Beobachtung wäre im Feld erwartbar, wenn diese Annahme träfe? So werden KI-Fehler zu heuristischen Werkzeugen (vgl. Gigerenzer & Gaissmaier 2011). (MPG.PuRe)

3) Prüfpfad ins Feld (Falsifikation)

Ich formuliere konkret prüfbare Fragen und Indikatoren und versuche, die Hypothese aktiv zu widerlegen (Falsifikation). Bestand sie dem Versuch, landet sie als „robuste Arbeitshypothese“ in meinen Memos (vgl. Popper 1959; ergänzend Lakatos 1970). (Taylor & Francis)

4) Projektinterne Orchestrierung

Für die Nachverfolgung nutze ich meine KI-JSON-Ringe (Dokumentations- und Prozessschicht), damit jeder Schritt – von der Halluzination bis zur Feldprüfung – versioniert bleibt. Siehe den Überblicksbeitrag: Die KI-JSON-Ringe des Projekts.

Praxis-Workflow (Checkliste)

1. Kennzeichnen: Halluzination im Text belassen, klar durchstreichen, Kurzkommentar setzen („wird geprüft“).
2. Ableiten: Implizite Annahme explizit machen („Wenn A, dann müsste ich im Feld B beobachten…“).
3. Triangulieren: Erst Literatur, dann Datenbanken/Archive, dann Feldkontakte; Belegsammlung ergänzen.
4. Feldtest planen: Ort, Zeit, Quellen, Gesprächspartner:innen, Beobachtungsschema.
5. Entscheiden: Falsifiziert → streichen & dokumentieren. Bestätigt/robust → als Hypothese/Ergebnis übernehmen.
6. Transparenz: Im Blog Änderungslog und Prüfstatus aktualisieren (Version/Datum).

Forschungstagebuch

Ich habe meine Heuristik geschärft: Halluzinationen sind nicht Daten – aber nützliche Theorie-Kandidaten. Ihre Produktivität hängt daran, ob ich sie systematisch in Hypothesentests überführe und die kognitive Last für Lesende gering halte (Sweller 1988). (Wiley Online Library)

Leitfragen für Studierende

• Welche Halluzination lieferte dir zuletzt einen interessanten Interview-Impuls?
• Wie würdest du sie widerlegen? Welche Beobachtungen sprächen klar dagegen?
• Welche Primärquelle brauchst du, um aus „Plausibel“ → „Belegt“ zu kommen?
• Wo in deinem Text könntest du sichtbar machen, was (noch) Hypothese ist?

Literatur

• Charmaz, K. (2006). [Constructing Grounded Theory]. Sage. (uk.sagepub.com)
• Gigerenzer, G., & Gaissmaier, W. (2011). [Heuristic decision making]. Annual Review of Psychology, 62, 451–482. https://doi.org/10.1146/annurev-psych-120709-145346. (MPG.PuRe)
• Lakatos, I. (1970). [Falsification and the methodology of scientific research programmes]. In I. Lakatos & A. Musgrave (Hrsg.), Criticism and the Growth of Knowledge (S. 91–196). Cambridge University Press. (Cambridge University Press & Assessment)
• Popper, K. (1959). [The Logic of Scientific Discovery]. Routledge. (Routledge)
• Sweller, J. (1988). [Cognitive load during problem solving: Effects on learning]. Cognitive Science, 12(2), 257–285. https://onlinelibrary.wiley.com/doi/10.1207/s15516709cog1202_4. (Wiley Online Library)