VIAN Light – Josephine Diecke und Simon Spiegel über eine offene Toolentwicklung auf dem Weg in eine nachhaltige Zukunft

Von Josephine Diecke und Simon Spiegel

VIAN ist eine Annotationssoftware, die als Antwort auf die spezifischen Anforderungen der digitalen Filmforschung entstanden ist. Ursprünglich im Rahmen des ERC-Advanced-Grant-Projekts FilmColors (2015–2020) unter der Leitung von Prof. Dr. Barbara Flückiger am Seminar für Filmwissenschaft der Universität Zürich (FIWI UZH) entwickelt, wurde die Software in Zusammenarbeit mit den Entwicklern Gaudenz Halter und Silas Weber sowie unter der technischen Leitung von Prof. Dr. Renato Pajarola vom Visualization and Multimedia Lab der UZH konzipiert und realisiert. Das Ziel war es, die Lücke zu schließen, die bestehende Annotationsprogramme wie ELAN hinterließen, da diese zwar Videoannotationen ermöglichen, jedoch primär auf die Sprachanalyse ausgerichtet sind und kaum Funktionen für die umfassende ästhetische Analyse von Spielfilmen – insbesondere der Filmfarben – bieten.¹

Bereits im Herbst 2018 stellte Flückiger VIAN auf dem OMS-Blog als Teil eines größeren Ökosystems von Digital-Humanities-Tools für die Filmforschung vor und betonte damals die Notwendigkeit, »Forschungsgrundlagen kooperativ zu bearbeiten und offen zu teilen.« Seit der ersten Veröffentlichung auf GitHub wurde die Software an verschiedenen Hochschulen und in Forschungsprojekten wie den SNF-Projekten Filmfarben. Technologien, Kulturen, Institutionen und Autonome Filmfarben erfolgreich eingesetzt. Mit dem Ende des Projekts und der Emeritierung Flückigers lag der Fokus jedoch zunächst auf der Sicherung der Software, was zu einem temporären Entwicklungsstillstand führte.

Dieser Beitrag beleuchtet die Maßnahmen, die seit Ende 2023 am FIWI durch die Autor.innen initiiert wurden, um eine nachhaltige Zukunft für VIAN zu sichern und die Software weiterzuentwickeln. Ein zentraler Schritt war der VIAN-Feature-Workshop, den die Autor.innen am 26. April 2024 mit internationalen Expert.innen aus verschiedenen Disziplinen veranstalteten. Die daraus gewonnenen Erkenntnisse und die damit verbundenen Ansätze im Sinne von Open Science und Open Media Studies werden im Folgenden erläutert.

VIAN und VIAN WebApp auf dem Weg zum Reboot

Als Assistenzprofessorin für Filmwissenschaft mit Schwerpunkt digitale Kulturen und Methoden der Digital Humanities an der UZH hat es sich Josephine Diecke zum Ziel gesetzt, die Entwicklung von VIAN voranzutreiben, denn, neben der bereits etablierten institutionellen Anbindung und dem persönlichen Gebrauch der Software für eigene Forschungsvorhaben, mangelt es an Alternativen im Bereich der computergestützten Filmanalyse. Zwar steht ELAN bei Film- und Medienwissenschaftler.innen weiterhin hoch im Kurs, wenn es um ein geeignetes Tool für die manuelle Annotation audiovisueller Werke geht, allerdings ist die Software primär auf die Analyse von Sprache ausgerichtet. Wir möchten ein digitales Werkzeug anbieten, das den Anforderungen sowohl an die qualitative als auch die quantitative Analyse audiovisueller Medien besser gerecht wird. Der Austausch mit Vertreter.innen der Film- und Medienwissenschaft, der Digital Humanities und der Informatik fand auf verschiedenen Panels statt, etwa auf dem Open-Humanities-Panel an der DHd 2023 und an der Marburger Digital-Cinema-Hub-Konferenz Digitale Methoden und die Zukunft der Filmwissenschaft (2024). Dabei wurde deutlich, dass weiterhin keine Einigkeit darüber besteht, welches Tool den Anforderungen von Lehrenden und Forschenden am besten gerecht wird. Zwar werden ELAN und Advene nach wie vor häufig als die flexibelsten Werkzeuge angesehen, um eigene Forschungsfragen zu bearbeiten – jedoch fast immer mit erforderlichen Kompromissen und Workarounds. Zum Beispiel verfügt keines dieser Programme über ein geeignetes Screenshot-Management für filmanalytische Untersuchungen.

VIAN wurde ursprünglich für einen spezifischen Zweck entwickelt: die Analyse von Farben im FilmColors-Projekt. In der Folge kamen weitere Funktionen hinzu, die die Filmfarbenanalyse unterstützen, wie verschiedene Methoden zur Datenvisualisierung     . Zwar war der Entwicklungsprozess durch den Projektrahmen geprägt und durch Softwareentwickler wie Halter in Rücksprache mit Flückiger und dem Projektteam gesteuert, jedoch gab es – im Unterschied zu in der freien Wirtschaft gängigen agilen Produktentwicklungen – nie eine eigentliche Roadmap oder eine klar definierte Feature-Liste für einen Release 1.0 oder eine Beta-Version. Dies liegt unter anderem daran, dass das Hauptaugenmerk des ERC-Projekts nicht auf der Toolentwicklung, sondern auf der Analyse der Filme selbst lag und somit der gewünschte Projektoutput nicht die Software, sondern deren Anwendung in Kombination mit den diversen Forschungsfragen war. Das Fehlen solcher klaren Vorgaben sieht man der Software bei all ihren Stärken auch an. Die Ausrichtung von VIAN auf spezifische Workflows, die im Rahmen des FilmColors-Projekts entwickelt wurden, bei gleichzeitiger Erweiterung um modulare Farbanalysekomponenten »on the run« haben zu einer Komplexitätszunahme geführt, die dem Wunsch nach einer leichten und intuitiven Bedienung gerade durch Anfänger.innen zum Teil im Wege steht. Hinzukommt, dass VIAN auf einer Cross-Platform-Library für die Programmiersprache Python basiert, die nie vollständig auf die mittlerweile nicht mehr ganz so neuen Apple-Prozessoren portiert wurde. Das Programm läuft zwar auf Windows-Geräten sowie auch unter macOS, bietet auf neueren Mac-Modellen aber nicht alle Funktionen. So entfielen insbesondere die KI-gestützten Komponenten wie die Figur-Grund-Trennung mithilfe der automatischen Objekterkennung durch das TensorFlow-Framework. Außerdem hat sich Gaudenz Halter, der den Großteil der Software geschrieben hat, mittlerweile anderen Projekten zugewandt und steht deshalb für die Weiterentwicklung nicht mehr zur Verfügung. Es zeichnete sich somit bald ab, dass wir, wenn wir VIAN wieder aktivieren wollen, nicht einfach mit der bestehenden Version weiter verfahren können, sondern dass ein umfassender VIAN-Reboot nötig ist.

Darüber hinaus wollten wir eine nachhaltige Lösung für den Erhalt der VIAN WebApp finden, dem digitalen Werkzeug zur Auswertung der Annotationsdaten aus  den verschiedenen Filmfarben-Projekten. Dank finanzieller Unterstützung der UZH im Rahmen der Förderlinie micro_innovation konnten wir dies erreichen, indem die WebApp zunächst auf einen lokalen Server der UZH migriert wurde. Dadurch haben derzeit alle Personen an der UZH kostenlosen Zugang zu den Daten und Visualisierungen. Zudem hat Megumi Hayakawa ein umfassendes Handbuch erstellt, das erstmals die verschiedenen Funktionen der VIAN WebApp erläutert, Anleitungen zur Bedienung enthält und drei Anwendungsfälle beschreibt.

Die aktuelle Version von VIAN verfügt über sehr leistungsstarke Funktionen zur Analyse und Annotation von Filmen, weist darüber hinaus aber auch eine Reihe avancierter Funktionen zur Analyse von Farben auf, wie etwa innovative Visualisierungsmethoden der Farbverteilung innerhalb eines Films. Diese waren für das FilmColors-Projekt zwar von zentraler Bedeutung und der Grund, weshalb die Software überhaupt entwickelt wurde, es ist aber fraglich, ob sie außerhalb von Forschungsvorhaben mit sehr spezialisierten Fragen zum Thema Farbe je breit genutzt werden. Oberstes Ziel des VIAN-Reboots ist deshalb nicht, alle bestehenden Funktionen zu erhalten, sondern eine einfach zu installierende und zu bedienende Software bereitzustellen. Zudem soll diese möglichst viele filmanalytische Anwendungsfälle abdecken,sodass sie auch in einem film- respektive medienwissenschaftlichen Bachelor-Studium produktiv eingesetzt werden kann.

Für uns stand früh fest, dass wir für einen erfolgreichen VIAN-Neustart zuerst ein Feature-Set für eine Version 1.0 definieren müssen und dass wir dies nicht allein tun können. So kam es, dass wir wie oben bereits erwähnt Ende April zu einem Workshop nach Zürich einluden, um die Zukunft von VIAN zu besprechen.

Der VIAN-Workshop

Der Workshop sollte vor allem dazu dienen, die Bedürfnisse potenzieller VIAN-Benutzer.innen kennenzulernen. Wie kann ein Tool wie VIAN sinnvoll in Lehre und Forschung eingesetzt werden? Welche Hürden gibt es? Was kann man von bereits existierender Software übernehmen bzw. wird durch diese schon abgedeckt? Neben diesen allgemeineren Rückfragen zum Status Quo sollten aber auch konkrete konzeptionelle und technische Fragen diskutiert werden: Welche Standards müssen wir unbedingt unterstützen? Welche Technologien haben sich in der Vergangenheit bewährt? Welche Funktionen sollte ein neues Programm unbedingt anbieten, welche sind bloß nice to have?Was überzeugt an der aktuellen VIAN-Benutzeroberfläche und sollte beibehalten werden, wo sind Verbesserungen angezeigt?

Entsprechend der Breite des Fragenkatalogs kamen die Teilnehmenden aus unterschiedlichen Bereichen: Manche hatten bereits Erfahrungen mit VIAN oder anderen digitalen Tools, andere überhaupt nicht. Bei einigen lag die fachliche Expertise in der hermeneutisch geprägten Filmwissenschaft, wohingegen andere Teilnehmende überwiegend Kenntnisse aus der Informatik mitbrachten. Aus diesem Grund waren Software-Entwickler.innen ebenso vertreten wie ausgesprochene IT-Laien. Darüber hinaus waren sowohl Dozierende als auch Studierende des FIWI vertreten. Diese Mischung hat sich im Verlauf des Workshops als herausforderndes, aber durchaus konstruktives Spannungsfeld erwiesen. Diesem Umstand waren wir uns im Vorfeld bewusst, wir konnten jedoch nicht antizipieren, wo sich die Vorstellungen in der Gestaltung und Anwendung konkret widersprechen würden. Unser Mantra war, dem Prozess zu vertrauen.

In fünf thematisch orientierten Sessions haben wir die insgesamt 30 Teilnehmenden in verschiedenen Konstellationen Fragestellungen zu folgenden Bereichen diskutieren lassen: GUI, Erfahrungen mit VIAN, Technisches, Glossar und Ontologien, Bedürfnisse für die Lehre sowie übergeordnete Fragen. Im Vorfeld bekamen alle den Link zu einem Miroboard zugeschickt, das zugleich die kollaborative Schreib- und Dokumentationsplattform während und nach dem Workshop darstellte.

Am Anfang stand für uns die Frage im Zentrum, auf welchen Technologien VIAN in Zukunft basieren soll, nicht zuletzt durch die Erfahrung, dass die bisher eingesetzte Architektur eine Anpassung auf neue Hardware schwierig macht. Soll es weiterhin eine Desktop-Software sein oder ist eine Lösung, die auf Web-Technologien basiert, sinnvoller? Dieser Aspekt, der für die konkrete Umsetzung natürlich nach wie vor von elementarer Bedeutung ist, rückte im Laufe des Workshops immer mehr in den Hintergrund. Stattdessen wurden »weiche Faktoren« wichtiger, die stärker auf Bedienbarkeit und Einsatz in der Praxis fokussieren.

User Experience

Die meistgewünschten Features, wenn man sie so nennen will, waren Stabilität und Einfachheit in der Bedienung. Beides mag banal klingen, aber insbesondere für den Unterricht ist es eminent wichtig, dass alle die Software problemlos zum Laufen bringen können und man nicht Stunden damit verbringt, bis die Software auch auf dem letzten Notebook funktioniert. Dabei geht es nicht nur um offensichtliche Dinge – etwa, dass ein Programm möglichst nicht abstürzen sollte –, sondern auch um die Vorerfahrungen, welche die Benutzer.innen bereits mitbringen. Ein überraschender Befund war, dass die Studierenden zwar mit Smartphone und Apps umgehen können, dass aber nur eine Minderheit von ihnen je eine Software von einer Website heruntergeladen und selbst installiert hat. Tatsächlich kann man mittlerweile nicht einmal mehr davon ausgehen, dass alle Studierenden ein Notebook besitzen, da viele primär oder sogar ausschließlich mit einem Tablet arbeiten. Eine Tablet-taugliche Version von VIAN würde unsere Möglichkeiten aber deutlich übersteigen.

Ebenfalls weitgehend einig war man sich darin, dass nicht alle derzeit vorhandenen Funktionen übernommen werden müssen. Wichtiger als ausgefeilte Graphen zur Darstellung der Farbverteilung ist eine intuitive Benutzeroberfläche. Wer die aktuelle Version von VIAN öffnet, dürfte zuerst einmal überfordert sein, denn auf den ersten Blick ist nicht evident, was man wie mit dem Tool machen kann. Insbesondere wenn es darum geht, das Programm wenig technikaffinen Studierenden und Dozierenden näherzubringen, sind schnelle Erfolgserlebnisse von großer Bedeutung.

In diesem Zusammenhang wurden ein modulares Design oder verschiedene Benutzermodi für unterschiedlich erfahrene Anwender.innen angeregt. Ebenso wichtig sind eine ausführliche und verständliche Dokumentation sowie die Anbindung an andere Tools durch die Unterstützung von standardisierten Austauschformaten und Schnittstellen.

Automatisierung vs. Handarbeit

VIAN bietet derzeit eine Reihe von automatisierten Funktionen; etwa die automatische Segmentierung anhand der Farbverteilung oder eine Figur-Grund-Trennung. Mit den großen Fortschritten im Bereich der KI stellt sich dabei sehr grundlegend die Frage, inwieweit manuelle Annotation überhaupt noch sinnvoll ist oder ob man dieses zugegeben mühsame Geschäft nicht komplett an eine Software delegieren kann. Tatsächlich waren sich die Workshop-Teilnehmenden aber weitgehend einig, dass der Fokus nicht auf mehr Automatisierung liegen sollte. Die einzige Ausnahme war der Wunsch nachautomatischer Schnitterkennung, einem Feature, das VIAN derzeit noch fehlt. Funktionen wie Sprachtranskription oder das automatische Erkennen der Einstellungsgrößen wurden dagegen als nice to have, aber nicht zwingend notwendig taxiert.

In den Digital Humanities wird die Frage, wie stark sich unser wissenschaftliches Handwerk automatisieren lässt, respektive wie sinnvoll eine solche Automatisierung überhaupt ist, kontrovers diskutiert. Im Workshop herrschte diesbezüglich breiter Konsens, dass der Wert eines Tools wie VIAN für den Unterricht nicht zuletzt in seinen manuellen Funktionen liegt. Studierende der Bachelor-Stufe müssen die grundlegenden filmanalytischen Kategorien in jedem Fall zuerst erlernen. VIAN soll ihnen dies nicht abnehmen, sondern ihnen vielmehr dabei helfen, filmanalytische Parameter an einem konkreten Gegenstand erfahrbar zu machen.

Filmwissenschaft und digitale Geisteswissenschaften

Die Diskussion, wie VIAN in der Lehre eingesetzt werden kann, führte zu einem Punkt, den wir bisher kaum beachtet hatten, der aber grundsätzlicher Natur ist und das Verhältnis von Geisteswissenschaften und Digital Humanities insgesamt berührt: Welchen Status soll ein Tool wie VIAN innerhalb eines Fachs wie der Filmwissenschaft haben? Geht es lediglich darum, dass alle Studierenden einmal damit in Berührung kommen, auch wenn später nur wenige regelmäßig damit arbeiten? Oder soll es zu einem grundlegenden Werkzeug werden, dessen Beherrschung auch in späteren Veranstaltungen vorausgesetzt wird und auf das immer wieder zurückgegriffen wird? Während es beispielsweise in den Sozialwissenschaften Usus ist, dass man den Umgang mit Statistik-Programmen lernt, kennt man in den Geistes- und Kulturwissenschaften kaum Vergleichbares.

Auf einer ganz pragmatischen Ebene stellt sich die Frage, ob der Entwicklungsaufwand gerechtfertigt ist, wenn das daraus entstehende Tool letztlich nur ein Nischendasein fristet. Eine Alternative wäre eine umfassende Neuausrichtung der bestehenden Studiengänge. Dies wirft jedoch auch die grundsätzliche Frage auf, was wir eigentlich tun, wenn wir Wissenschaft betreiben.  Schließlich geht es um nichts Geringeres als das Selbstverständnis unseres Fachs und dessen Positionierung zu den digitalen Geisteswissenschaften.

Eng mit dieser Frage verbunden ist ein Problemfeld, das uns schon lange beschäftigt: Wie lässt sich die Entwicklung einer Software wie VIAN verstetigen? Die Organisation von Wissenschaft ist in hohem Maße projektgetrieben. Fast alles, was in unserem Bereich jenseits der Lehre gemacht wird, vollzieht sich im Rahmen von befristeten Projekten. Geld für langfristige Infrastrukturen ist mit der Ausnahme von Bibliotheken und anderen Sammlungen kaum vorhanden. Dies gilt auch für digitale Infrastrukturen. Zwar sprechen alle von Digitalisierung und neuerdings auch von KI, während es aber in den Naturwissenschaften selbstverständlich ist, dass ein Labor eine technische Infrastruktur unterhält und fest angestellte Techniker.innen bezahlt, gibt es in unseren Fächern nichts Entsprechendes. Die Einsicht, dass auch in den Geistes- und Kulturwissenschaften digitale Infrastrukturen entstehen, die langfristig erhalten werden müssen, wird bereits innerhalb des Fachs      diskutiert, setzt sich aber nur langsam durch.

Die Zukunft

Seit dem Workshop ist ein halbes Jahr vergangen, und es hat sich viel bewegt. Die Neuentwicklung von VIAN wird nun Realität: Ab November 2024 wird VIAN Light unter der Leitung von Prof. Dr. Ralph Ewerth, Leiter des Forschungsbereichs »Visual Analytics« an der Technischen Informationsbibliothek (TIB) Hannover, entwickelt. Sein Team bringt wertvolle Erfahrungen aus der Entwicklung des Videoanalysetools TIB-AV-A mit, von denen VIAN Light profitieren wird.

Unsere Entscheidung für die Zusammenarbeit mit der TIB basiert auf früheren erfolgreichen Kooperationen mit Ewerth und seinem Team, die über umfassende Expertise verfügen. Obwohl der Entwicklungsprozess noch am Anfang steht, sehen wir die Kollaboration als großen Gewinn. TIB-AV-A bietet bereits moderne Tools für die Videoanalyse, ist jedoch ausschließlich online verfügbar, auf automatisierte Objekt- und Konzepterkennung spezialisiert, und verfolgt damit einen anderen Ansatz als VIAN. Am Ende profitieren nicht nur die beiden Partner, sondern vor allem die zukünftigen Nutzenden.

Fazit

Die Neuentwicklung von VIAN hat gerade erst begonnen, aber wir sind zuversichtlich, dass wir im Laufe des kommenden Jahres bereits eine erste Beta-Version veröffentlichen können. Dies wird es der film- und medienwissenschaftlichen Community ermöglichen, das Tool auszuprobieren und uns wertvolles Feedback zu geben. Es ist beeindruckend, wie schnell wir von anfänglich noch eher vagen Vorstellungen zu einem Punkt gelangt sind, an dem tatsächlich neuer Code für VIAN geschrieben wird. Ein entscheidender Schritt war der Workshop im April, der uns maßgeblich vorangebracht hat. Deshalb möchten wir uns an dieser Stelle nochmals herzlich bei allen Teilnehmenden bedanken, die ihre Erfahrungen so großzügig mit uns geteilt haben. Die jüngsten Entwicklungen haben erneut gezeigt, dass der offene Austausch von Wissen und Erfahrungen – ganz im Sinne von Open Science und Open Media Studies – nicht nur strategisch von Bedeutung ist, sondern vor allem das Fundament bildet, auf dem ein digitales Werkzeug in der Film- und Medienwissenschaft nachhaltig verankert werden kann.

---

1. Barbara Flueckiger, »A Digital Humanities Approach to Film Colors«, The Moving Image 17.2 (2017): 71–94. ↩︎

---

---

---