Der OMS-Blog als Datensatz – Lars Hadelers Betrachtung aus einer KI-gestützten Metaperspektive

“Nina Mercado” auf unsplash
Von Lars Hadeler
Der OMS-Blog wird seit 2018 auf Hypotheses.org gehostet. Diese Plattform stellt eine kuratierte Sammlung von WordPress-Plugins zur Verfügung, die den dort versammelten Blogs eine gewisse Einheitlichkeit verleiht und ihre Erstellung sehr benutzerfreundlich macht. Teil dieser Plugins ist eine Statistikerweiterung, die verschiedene Metriken wie Besucher:innenzahlen und vieles mehr über den Blog aggregiert. Diese «Nutzungsdaten» schienen perfekt geeignet, um einen «Blick hinter die Kulissen» (so der Arbeitstitel dieses Beitrags) der letzten sechs Jahre zu werfen.
Im Jahr 2022 wechselte Hypotheses allerdings das Statistik-Plugin. Das veraltete und relativ unübersichtliche «AWStats» wurde durch das neue «Matomo» ersetzt. Eigentlich eine tolle Sache! Matomo bietet ein wesentlich moderneres Dashboard mit mehr Filtermöglichkeiten und hat im Vergleich zu AWStats eine praktische Exportfunktion.

Doch diese Umstellung machte die geplante Nutzungsdatenanalyse unmöglich, denn AWStats und Matomo scheinen unterschiedliche Datenpunkte zu verfolgen. So hat AWStats für August 2022 1.463 unterschiedliche («unique») User aufgezeichnet, während Matomo 302 angibt. Es ist nicht ersichtlich, warum sich diese Zahlen so gravierend unterscheiden und deshalb kann keine einheitliche Gesamtstatistik über die letzten sechs Jahre erstellt werden. Da Hypotheses die verfügbaren WordPress-Plugins aber zentral verwaltet, ist es zudem nicht ohne weiteres möglich, selbst eine passende Erweiterung zu installieren, die den Erkenntnisinteressen entspricht.
Erfahrungen wie diese werden im Kontext der Open Science und der Digital Hummaities immer wieder gemacht: Hypotheses ist als sicher gehostete, gut vernetzte und frei zugängliche Plattform eigentlich der perfekte Kandidat für das Hosting eines Open Science Blogs – dafür muss aber auf eine uneingeschränkt nutzbare WordPress-Instanz verzichtet werden. Für die vielen Vorteile einer frei zugänglichen Technologie müssen z. B. oft Abstriche im Bedienkomfort gemacht werden: Google Docs lässt sich meistens einfacher bedienen als eine der zahlreichen Etherpad-Alternativen und das Teilen von Dateien über Google Drive ist fast immer schneller und praktischer.
Diese Hürde sollte die Analyse aber nicht aufhalten – wenn es keine gebrauchsfertigen Nutzungsdaten zum Blog gibt, müssen eben selbst welche erstellt werden! Denn abseits der Statistik-Erweiterung kann eine WordPress-Seite auch einfach komplett als XML-Datei exportiert werden. Die so gewonnenen Daten können dann ausgewertet und neu verknüpft werden, sodass die ursprünglich geplante Metaperspektive auf den Blog wieder möglich wird!
Der Blog selbst wird dabei im Sinne des Distant Reading zu einem Datensatz: Bis jetzt wurden über 100 Beiträge veröffentlicht, an denen knapp 100 Autor:innen beteiligt waren. Neben den Veröffentlichungsdaten und Schlagwörtern der einzelnen Posts gibt es auch ein Autor:innenverzeichnis, welches nicht nur die Autor:innen und ihre zugehörigen Beiträge, sondern auch jeweils eine kurze Biografie enthält. Insgesamt ergibt sich so ein sehr interessantes Textkorpus mit vielen verschiedenen Datenpunkten.
Doch was macht man nun mit diesem Korpus? Mit Hilfe zahlreicher Natural Language Processing Tools wäre es möglich, die Beitragstexte auszuwerten und beispielsweise ein Topic Modeling durchzuführen. Aber das wäre für einen wissenschaftlichen Blog, der sich stark auf die Themen «Open Access und Open Science in der Medienwissenschaft» fokussiert, wahrscheinlich nicht allzu spannend, da die so identifizierten Themen und Topics relativ nah beieinander liegen würden. Wie kann eine alternative, quasi externe Perspektive auf den Blog eingenommen werden?
In fast allen Lebensbereichen wird heute KI eingesetzt. Sie soll helfen, immer größere Datenmengen zu verarbeiten und innovative Lösungen für die unterschiedlichsten Probleme zu finden. Damit entsteht der Eindruck, dass KI mittlerweile die Antwort auf alles ist. So suggeriert beispielsweise die allgegenwärtige Einbettung von KI in Betriebssysteme zur «Verbesserung» von Bildern und Texten, dass künstliche Intelligenz grundsätzlich «besser» sei als alternative Werkzeuge und qualitativ hochwertigere Ergebnisse liefere. Dem ist natürlich nicht so. KI ist, wie alle anderen Werkzeuge auch, ein weiteres Werkzeug zur Bearbeitung einer Aufgabe. Dennoch regt der aktuelle KI-Diskurs dazu an, sich zu fragen, wie diese neuen Werkzeuge im eigenen Workflow eingesetzt werden könnten. Und so stellte sich auch im Rahmen dieser Analyse die Frage:
Wir wissen, was wir von unserem Blog halten, aber was hält die KI von unserem Blog?
Diese Frage soll ganz im Sinne des «Open Access und Open Science»-Ansatzes des Blogs beantwortet werden: Neben den mittlerweile sehr populären, aber kommerziell vertriebenen KIs wie ChatGPT gibt es auch frei zugängliche Modelle, die lokal auf dem eigenen Rechner laufen können. Um diesen Gedanken weiter zu vertiefen, soll im Kontext dieser Analyse bewusst mit relativ kleinen KI-Modellen gearbeitet werden, die auf einem Laptop mit «normaler» Rechenleistung laufen können.
Methodik
Für die KI-Analyse des OMS-Blogs wurde Ollama verwendet. Dieses frei zugängliche Open Source Tool ermöglicht es, verschiedene KI-Modelle lokal auf dem eigenen Rechner zu nutzen. Diese können direkt über das von Ollama bereitgestellte CLI automatisiert heruntergeladen und gestartet werden, was das Experimentieren mit verschiedenen Modellen sehr einfach macht.
Um auf die von Ollama bereitgestellten KI-Modelle im Kontext einer Python-Programmierumgebung zugreifen zu können, wurde das Open-Source-Tool LangChain verwendet. Damit können Anfragen an ein KI-Modell beispielsweise innerhalb eines Jupyter Notebooks gestellt und die Ausgabe weiterverarbeitet werden.
Insgesamt kann so mit Ollama und LangChain eine sehr übersichtliche Arbeitsumgebung geschaffen werden, in der relativ niederschwellig mit KI gearbeitet werden kann.
Die folgenden KI-Modelle wurden getestet1:
- llama3.2:3b-instruct-q8_0
- tinyllama:1.1b-chat-v1-q8_0
- mistral:7b-instruct-v0.3-q8_0
- mistral:7b-instruct-v0.3-q4_K_S
- phi3.5:3.8b-mini-instruct-q8_0
- gemma2:2b-instruct-q8_0
Ein wichtiges Auswahlkriterium war die Größe der Modelle. Damit sie auf einem handelsüblichen Laptop einigermaßen schnell laufen, wurde sich auf relativ kleine Modelle mit 1,1 bis 7 Milliarden Parametern (jeweils mit einem «b» hinter dem Modellnamen gekennzeichnet) beschränkt. Zum Vergleich: Die aktuelle Version von ChatGPT (Version 4) bewegt sich vermutlich in einer Größenordnung von über einer Billion Parametern – ist also wesentlich leistungsfähiger als die vorliegenden Modelle. Zudem wurde der Fokus weitestgehend auf «instruct»-Modelle gelegt. Diese sind im Gegensatz zu den eher geläufigen Chat-Modellen darauf spezialisiert, kurze und einfache Antworten auf konkrete Fragen zu liefern. Schließlich spielten auch die Quantisierung und die Neuartigkeit der Modelle eine Rolle. Die Quantisierung der Modelle (im Modellnamen mit «q» gekennzeichnet) ist notwendig, um sie auf die gewünschte Größe zu komprimieren. Bei der hier vorliegenden Modellgröße scheint eine 8-Bit-Quantisierung die beste Balance zwischen Performance und benötigten Ressourcen darzustellen, da fast alle Modelle maximal eine solche Quantisierung bieten. Da sich die Technologie der künstlichen Intelligenz schnell weiterentwickelt, ist es ebenso wichtig, wie neu die Modelle sind. Das Modell llama3.2 war hier das neueste und lieferte auch die Ergebnisse, die den Vorgaben am besten entsprachen, wie im Folgenden gezeigt wird.
Analyse
Der WordPress-Export des Blogs liefert eine große Datenmenge: Alle Unterseiten, Posts und Kommentare des Blogs sind in einer einzigen XML-Datei zusammengefasst. Um einen Überblick zu bekommen und die Daten für die weitere Analyse aufzubereiten, wurde die XML-Datei zunächst in eine übersichtlichere Json-Datei umgewandelt. Dort hat nun jeder Beitrag eine eigene ID, unter welcher der Titel, der Beitragstext und alle weiteren zugehörigen Daten abrufbar sind.
Zunächst sollten die einzelnen Beitragstexte von einem KI-Modell mit Schlagworten versehen werden, um diese mit den selbst vergebenen Schlagworten zu vergleichen. Ziel war es herauszufinden, wie «genau» die eigene Verschlagwortung ist, beziehungsweise ob sich Themenbereiche identifizieren lassen, die in der Schlagwortliste nicht auftauchen.
Die einzelnen Texte wurden in einer LangChain-Pipeline an die verschiedenen KI-Modelle weitergeleitet. Dabei wurde den Modellen jeweils ein Prompt «mitgegeben», der vorgab, wie das Modell antworten sollte.
template = "Answer in english. Assign exactly three one word Keywords to this text. Return only the three keywords. Format your answer as a string. Divide the keywords with a comma. Do not engage in any further conversation. {input}"
Die hier verwendeten KI-Modelle sind jedoch schlichtweg zu klein, um den Gesamtkontext der Texte zu erfassen und gleichzeitig den vorgegebenen Prompt zu berücksichtigen. Statt der geforderten drei Schlüsselwörter lieferten die KI-Modelle wenig kohärente Zusammenfassungen der Texte. Dies könnte darauf zurückzuführen sein, dass die Modelle grundsätzlich darauf trainiert wurden, Texte zusammenzufassen. Obwohl Ollama und LangChain KI-Modelle auf einem herkömmlichen Computer sehr einfach zugänglich machen, sind ihre Einsatzmöglichkeiten begrenzt.
"Das Problem der langfristigen Sicherung und Bereitstellung von Forschungsdaten, insbesondere in Bezug auf digitale Tools und deren Dokumentation, ist ein wichtiger Aspekt ..."
Um den zuvor gestellten Anforderungen gerecht zu werden und die Rechenleistung nicht weiter zu erhöhen, wurde ein alternatives Untersuchungsobjekt gewählt. Das Autor:innenverzeichnis des OMS-Blogs umfasst etwa 100 Autor:innen, wobei jede Person mit einer kurzen Biographie versehen ist. Diese Texte sind deutlich kürzer und können daher von den kleineren KI-Modellen besser erfasst werden. Auch hierfür bekamen die KI-Modelle einen Prompt, mit dem sie die Fachgebiete der einzelnen Autor:innen identifizieren sollten.
template = "Assign up to five fields of study this person can be attributed to, according to their biography. Answer in english. Return only five keywords describing the fields. Do not engage in any further conversation. Format your answer as a json array. {input}"
Die so generierten Fachgebiete wurden in einer weiteren Json-Datei gespeichert.
"Lars Hadeler":
[ "Media Studies",
"Film Studies",
"Cultural Studies",
"Digital Humanities",
"Media Theory" ],
Bis auf das noch wesentlich kleinere Modell tinyllama waren alle getesteten KI-Modelle in der Lage, diese Aufgabe zu bewältigen. Nach einigen stichprobenartigen Vergleichen hat sich das Modell llama 3.2 als am besten geeignet herausgestellt, da es zum einen aufgrund seiner relativ geringen Größe von 3 Milliarden Parametern sehr schnell arbeitet, zum anderen aber auch die Vorgaben aus dem Prompt (genau 5 Fachgebiete als Liste ausgeben) fehlerfrei umsetzt. Dies könnte darauf zurückzuführen sein, dass das Llama-Modell neuer ist als die meisten anderen getesteten Modelle.
Eine weitergehende Idee war es, die Geschlechterverteilung unter den OMS Blog Autor:innen zu untersuchen. Da es sich insgesamt um etwa 100 Autor:innen handelt, ist der Einsatz von KI hier vor allem deshalb spannend, da das Ergebnis relativ einfach manuell überprüft werden kann. Auch hier bekam das KI-Modell zusätzlich zu den Vornamen der einzelnen Autor:innen wieder einen Prompt mit der entsprechenden Aufgabe:
template = "Assign one of the following genders to the name given to you: Male, Female, Unisex, Unknown. Return only the chosen gender as plain text. Do not engage in any further conversation. {input}"
An dieser Stelle sei angemerkt, dass eine Geschlechtszuordnung anhand des Vornamens auf gesellschaftlichen Normen beruht und daher nichts über die tatsächliche geschlechtliche Identität der Autor:innen aussagt. Gerade im Rahmen einer KI-Analyse ist dies jedoch besonders spannend: KI-Modelle werden mit einer riesigen Datenmenge trainiert, die zu einem großen Teil aus dem Kontext des Internets stammt. Die zugrundeliegenden Daten spiegeln somit gesellschaftliche Werte und Normen wider und reproduzieren bei der Ausführung des Modells einen Bias. Bei der Geschlechtszuordnung anhand des Vornamens durch eine KI fließen daher vermutlich dieselben gesellschaftlichen Werte ein, wie dies bei einer manuellen Zuordnung durch einen Menschen der Fall wäre.
Auch diese Aufgabe konnte die KI gut lösen, wobei wiederum das Lama-Modell die besten Ergebnisse lieferte. Insgesamt wurden die Geschlechter genau so zugeordnet, wie es ein Mensch manuell getan hätte. Lediglich ein Name wurde im oben beschriebenen Sinne «falsch» zugeordnet – wahrscheinlich hätte ein größeres Modell die Aufgabe noch präziser gelöst. Es lässt sich aber festhalten, dass gerade für eine solche Aufgabe kleine, lokal laufende KI-Modelle sehr gut geeignet sind. Die Ergebnisse der KI-Gender-Zuordnung sind vergleichbar mit denen von Python-Paketen wie dem gender-guesser oder auch der kostenpflichtigen genderize API.
...
'Katja': 'Female',
'Maximilian': 'Male',
'Matthias': 'Male',
'Lars': 'Male',
...
Ergebnisse
Die Ergebnisse einer Analyse mit KI-Modellen müssen immer kritisch reflektiert werden. Letztlich generieren die Modelle immer nur die «wahrscheinlichste» Antwort auf eine Frage. Eine KI-Analyse hat also keinen höheren Wahrheitsgehalt als andere Analyseverfahren – im Gegenteil, die generierten Antworten müssen umso schärfer reflektiert werden.
Die generierten Fachgebiete der OMS-Blog-Autor:innen lassen sich gut als Wortwolke darstellen. Auf den ersten Blick sind die Ergebnisse wenig überraschend. Die Bereiche «Media Studies» (57 Nennungen), «Cultural Studies» (27 Nennungen), «Film Studies» (26 Nennungen) und «Digital Humanities» (24 Nennungen) treten am häufigsten auf und umreißen sehr gut den Kern der im OMS-Blog verhandelten Themen. Interessant ist hingegen, dass das Schlagwort «Methodology» so gut wie gar nicht vorkommt, obwohl es eine eigene Reihe zur Methodologie gibt («Methodology» taucht 2 mal auf, «Computational Methods» und «Digital Methods» je 1 mal). Aber natürlich kann von der Fachrichtung einer Autorin auch nur bedingt auf den Inhalt ihrer Beiträge geschlossen werden.

Wird die Visualisierung invertiert, zeigt sie die am wenigsten genannten Fachgebiete. Hier lässt sich eine erstaunliche Vielfalt von Randbereichen erkennen, die mit dem OMS-Blog in Verbindung stehen (auch das Stichwort Methodology findet sich hier).

Insgesamt ist anzumerken, dass das KI-Modell die einzelnen Disziplinen selbst benannt hat. Inwieweit Computational Methods und Digital Methods auch zusammengefasst werden könnten, kann daher nicht eindeutig beantwortet werden. Dagegen lässt sich das zweimal vorkommende und eher deplatziert wirkende Schlagwort Culinary Science sehr konkret in den Biografien von Felix Hüttemann und Jens Ruchatz verorten.
Die untersuchte Geschlechterverteilung lässt sich gut in einem Tortendiagramm darstellen. Wird die leichte Fehlerhaftigkeit der KI-Einordnung miteinbezogen, ergibt sich dennoch eine fast exakte 50/50 Geschlechterverteilung unter den Autor:innen des OMS-Blogs. Wie bereits erwähnt, konnte diese Aufgabe von der KI sehr gut gelöst werden, weshalb dieses Ergebnis auch das belastbarste ist (sofern die Problematik der Geschlechtszuordnung anhand des Vornamens an sich berücksichtigt wird).

Fazit
Insgesamt ist die hier durchgeführte Analyse vor allem aus methodischer Sicht interessant. Aber auch inhaltlich lassen sich einige Schlüsse ziehen: Die Fachrichtungen der OMS-Blog Autor:innen reflektieren die thematische Ausrichtung des Blogs. Gleichzeitig zeigt die Visualisierung wenig vertretener Fachrichtungen, dass auch Randbereiche der (Digital-)Humanities berührt werden. Die KI-Zuordnung der Fachgebiete ist jedoch leider zu lose, um konkrete thematische Blindspots unter den Autor:innen zu identifizieren – also festzustellen, welche Themenbereiche (noch) nicht auf dem OMS-Blog vorkommen. Die Wortwolken sind daher eher ein gutes Mittel, um einen Blick zurück auf die bisherige thematische Ausrichtung des Blogs zu werfen.
Ein ähnliches Bild zeigt sich bei der Geschlechterverteilung: Eine nahezu paritätische Verteilung nach sechs Jahren mit 100 Autor:innen und Berträgen ist ein sehr wünschenswertes Ergebnis. Aber auch hier ergibt sich aus der arbiträren Geschlechterzuordnung kein konkreter Handlungsrahmen für die organisatorische Ausrichtung des OMS-Blogs.
Wesentlich interessanter sind deshalb die methodischen Erkenntnisse, die diese Analyse mit sich bringt: Abseits kommerzieller KI-Modelle wie ChatGPT ist es relativ einfach möglich, lokale KI-Modelle in den eigenen Workflow zu integrieren. Der dafür notwendige Mehraufwand bringt einige Vorteile mit sich: Wird ein Modell auf Basis der hier vorgestellten Kriterien selbst ausgewählt und die generierten Ergebnisse kritisch hinterfragt, kann der Einsatz von KI direkt an allen Stellen des Forschungsprozesses reflektiert werden. Auf diese Weise können lokale Open Source KI-Modelle dazu beitragen, Künstliche Intelligenz verantwortungsvoll in einen Forschungsprozess zu integrieren.
Darüber hinaus hat sich gezeigt, dass die hier gewählten kleineren Modelle für einen explorativen Ansatz besonders geeignet sind. Denn der große Vorteil einer KI-basierten Analyse gegenüber herkömmlichen, z.B. häufigkeitsbasierten Verfahren liegt darin, dass die Struktur der vorliegenden Daten weniger wichtig ist und somit beispielsweise weniger Vorverarbeitung notwendig ist. Läuft die KI-Pipeline einmal, können sehr unterschiedliche Fragen an den gewählten Untersuchungsgegenstand gestellt werden (so unterschied sich der Code zur Zuordnung der Fachrichtungen und des Geschlechts im Wesentlichen nur durch den vorgegebenen Prompt). Auf diese Weise kann KI dazu beitragen, mit weniger Vorarbeit zu einem ersten Ergebnis zu kommen, wodurch spontan auftretende Fragestellungen dynamisch bearbeitet und direkt umgesetzt werden können. Wenn also eine explorative Analyse durchgeführt werden soll, bieten lokale KI-Modelle dafür eine gute Möglichkeit. Sind jedoch z.B. statistisch belastbare Aussagen das Ziel einer Analyse, ist eine KI-Analyse weniger gut geeignet, da meist nicht nachvollzogen werden kann, wie genau die einzelnen Datenpunkte zusammenhängen (wie es in dieser Analyse bei den arbiträr vergebenen Fachrichtungen der Fall war). Wie bei allen anderen Werkzeugen ist es daher auch bei der Verwendung von KI wichtig, das eigene Erkenntnisinteresse zu reflektieren und das am besten geeignete Werkzeug auszuwählen.
Lars Hadeler hat 2023 den Bachelor-Studiengang Medienwissenschaft an der Philipps-Universität in Marburg abgeschlossen. Parallel arbeitet er als studentische Hilfskraft für das “Marburg Center for Digital Culture and Infrastructure” (MCDCI), wobei er hauptsächlich am Filmforschungsprojekt “Digital Cinema-Hub” (DiCi-Hub) beteiligt ist. Momentan bewegt er sich mit dem Master “Cultural Data Studies” an der Philipps-Universität weiter in Richtung Digital Humanities.
- Alle diese Modelle sind Open Source und wurden von verschiedenen Anbietern entwickelt: llama von Meta, tinyllama als Weiterentwicklung durch die Community, mistral von Mistral AI, phi von Microsoft und gemma von Google. ↩︎
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Open Media Studies (15. Januar 2025). Der OMS-Blog als Datensatz – Lars Hadelers Betrachtung aus einer KI-gestützten Metaperspektive. Open Media Studies Blog. Abgerufen am 12. Februar 2025 von https://doi.org/10.58079/1339d
Diesem spannenden Artikel wollten wir eine noch größere Reichweite verschaffen und haben ihn deshalb in den Slider auf unserer Startseite de.hypotheses.org und in unseren Newsletter aufgenommen.
Loïc Oberdorfer (Community Management von de.hypotheses)