Zu Content springen

Textilmuseum St.Gallen: Erprobung KI-gestützter Metadaten-Extraktion an historischen Modefotografien

In Zusammenarbeit mit Luba Nurse und Liliane Vogt, Textilmuseum St.Gallen

Das Textilmuseum St.Gallen erprobte gemeinsam mit Archipanion in einem Pilotprojekt, ob die schriftlichen Informationen auf historischen Modefotografien in strukturierte, durchsuchbare Metadaten überführt werden können.

header_800w

Zusammenfassung

Das Textilmuseum St. Gallen (gegründet 1878) verfügt über eine umfangreiche Sammlung historischer Hand- und Maschinenstickereien, Spitzen, Stoffe, Kostüme, Musterbücher, Entwurfszeichnungen und Fotografien. Zur Sammlung gehört auch ein Bestand an Modefotografien aus den 1920er- bis 1990er-Jahren, der die ostschweizerische Maschinenstickerei dokumentiert, die für den internationalen Modemarkt produziert wurde..

In einem Pilotprojekt arbeitete Archipanion mit dem Museum an einem repräsentativen Set von 100 digitalisierten Modefotografien, um zu prüfen, ob KI-gestützte Metadaten-Extraktion die schriftlichen Informationen auf Vorder- und Rückseite jeder Fotografie in strukturierte, durchsuchbare Daten überführen kann. Die Fotografien enthielten mehrsprachige getippte, gestempelte und handschriftliche Notizen wie Bildunterschriften, Datierungen, Namen, geografische Angaben und Referenznummern: Informationen, die zwar auf den Bildern sichtbar, in der Sammlungsdatenbank des Museums jedoch bislang nicht recherchierbar waren.

Das Pilotprojekt erzeugte für jede Fotografie eine strukturierte tabellarische Datenausgabe. In die Sammlungsdokumentation des Museums integriert, würde eine solche strukturierte Ausgabe es ermöglichen, bisher unzugängliche Informationen — Namen, Orte, Daten, Stoffe, Fotografennachweise — sammlungsübergreifend zu durchsuchen, ohne jede Fotografie einzeln in die Hand nehmen zu müssen.

Die Ausgangslage

Viele der Modefotografien des Museums aus dem 20. Jahrhundert tragen wertvolle Metadaten, die direkt auf der Fotografie geschrieben oder gedruckt sind. So enthielten die Rückseiten häufig Angaben zur Fotografin oder zum Fotografen, zum Modell, zur abgebildeten Kleidung und zum Stoff, zum Markennamen, zum Ort der Fashion Show sowie zum Aufnahmejahr.

Diese Informationen sind jedoch weder in der Datenbank des Museums erfasst noch durchsuchbar und damit für die Forschung nicht zugänglich.

Die Erschliessung dieser Informationen war nicht trivial. Die Texte erscheinen in unterschiedlicher Form — getippt, gestempelt und handschriftlich — und in den drei Sprachen der St. Galler Textilindustrie: Deutsch, Französisch und Englisch. Um diese Aufgabe anzugehen, beauftragte das Museum Archipanion mit einem Pilotprojekt zur KI-gestützten Metadaten-Extraktion: konkret mit dem Einsatz von Machine-Learning-Modellen, die Text in Bildern erkennen und in strukturierte Datenfelder überführen, mit menschlicher Prüfung in jedem Verfahrensschritt.

Picture 1

Vorder- und Rückseite zweier historischer Modefotografien aus dem Pilotprojekt des Textilmuseums St.Gallen (TMSG 27.3.19, TMSG 68.1.4). Die Beispiele zeigen die Arten schriftlicher und gestempelter Informationen, die Archipanion extrahiert hat: Bildunterschriften, Namen, Referenzangaben und weitere kontextuelle Metadaten.

Das Pilotprojekt

Das Testset umfasste 100 historische Modefotografien. Jede Fotografie wurde durch zwei Bilddateien repräsentiert: eine mit der Vorderseite und eine mit der Rückseite. Die 100 Fotografien wurden über einen Zeitraum von 80 Jahren als repräsentatives Set ausgewählt, um den Extraktionsansatz zu evaluieren, bevor ein grösser angelegtes Projekt in Betracht gezogen würde.

Der Extraktionsprozess konzentrierte sich auf einen definierten Satz von Metadatenfeldern. Ziel war es, dass jede Fotografie eine Zeile in einer Tabelle ergibt, mit Spalten für Informationen wie: den hauptsächlich extrahierten schriftlichen Inhalt der Fotografie; jegliche schriftlich vermerkte Datierung oder datumsbezogene Angabe; Namen erwähnter Personen oder Organisationen; Informationen aus Stempeln, Logos oder ähnlichen visuellen Markierungen; sowie Ortsnamen oder andere geografische Angaben.

Viele dieser Felder waren mehrwertig — etwa wenn auf einer Fotografie mehrere Namen genannt wurden. Archipanion teilte diese Felder daher bei Bedarf in mehrere nummerierte Unterspalten auf. Das Ziel war eine strukturierte CSV- oder Excel-Datei, in der jedes Feld in einer eigenen Spalte erscheint und die für den Import in die Datenbank des Museums vorbereitet ist.

Vorgehen und Lieferergebnisse

Die Extraktionsarbeit folgte einem iterativen Prozess in drei Hauptschritten:

1. Erster Extraktionstest: Archipanion führte die KI-gestützte Extraktion zunächst an einer kleineren Stichprobe von rund 20 Fotografien durch, die zufällig aus dem gesamten Pilotset von 100 Stück ausgewählt wurden. Diese erste Ausgabe diente der eingehenden Prüfung und dem Vergleich, bevor der Extraktionsprozess auf das gesamte Pilotset angewendet wurde.

2. Vergleich und Erstellung eines Referenzdatensatzes: Die Dokumentationsspezialistinnen des Museums prüften und korrigierten die extrahierten Informationen für dieses 20er-Testset und schufen so einen geprüften Referenzdatensatz. Damit verfügte Archipanion über eine verlässliche Grundlage, um die KI-Ausgabe mit einer korrekten Version der Daten zu vergleichen und den Extraktionsprozess zu verbessern, bevor mit dem gesamten Pilotset weitergearbeitet wurde.

3. Finale Export-Tabelle: Auf der Grundlage der Erkenntnisse aus Schritt zwei verfeinerte Archipanion den Extraktionsprozess, führte ihn erneut über das gesamte Pilotset aus und erstellte das finale Lieferergebnis: eine bereinigte Export-Tabelle für alle 100 Fotografien.

Die mehrsprachigen Inhalte — Bildunterschriften, Stempel und Annotationen in Deutsch, Französisch und Englisch — wurden extrahiert und, wo erforderlich, für die Dokumentation des Museums ins Deutsche übersetzt.

Ergebnisse und praktischer Nutzen

Das Pilotprojekt erzeugte einen strukturierten Datensatz für die 100 Fotografien des Stichprobensets und zeigte damit, dass die iterative Extraktionsmethode — KI-gestützte Extraktion, geprüft anhand eines korrigierten Referenzdatensatzes — die visuelle und sprachliche Komplexität dieser Fotografien in dieser Grössenordnung bewältigen kann. Ob derselbe Ansatz auf Tausende von Fotografien skaliert und wie er sich in das Sammlungsmanagementsystem des Museums einfügen lässt, bleiben offene Fragen für eine mögliche weitere Phase.

Über den strukturierten Datensatz selbst hinaus deutete das Pilotprojekt auf mehrere weitere Vorteile hin, die sich in grösserem Massstab näher untersuchen liessen.

Verbesserte Lesbarkeit. Wo Verso-Inschriften in verblasster Tinte oder Bleistift vorliegen, kann die Digitalisierung in Verbindung mit der Metadaten-Extraktion Texte lesbar machen, die auf der physischen Fotografie allein nur schwer oder gar nicht zu entziffern wären.

Verknüpfung und Analyse. Strukturierte Metadaten über einen Bestand von Fotografien hinweg würden es ermöglichen, die Sammlung in einer Form abzufragen und zu analysieren, die auf Ebene der Einzelfotografie nicht praktikabel ist — und damit neue Forschungsfragen zur ostschweizerischen Maschinenstickerei-Industrie, ihrer Kundschaft, ihren Fotografinnen und Fotografen sowie ihrer internationalen Zirkulation eröffnen.

Reduzierte Handhabung und präventive Konservierung. Eine digitale Kopie in Verbindung mit strukturierten Metadaten fungiert als Surrogat des physischen Objekts. Forschende können die meisten ersten Fragen über das Surrogat beantworten; die Fotografie selbst wird nur dann hervorgeholt, wenn ein konkreter Anlass besteht, den der digitale Datensatz nicht abdecken kann. Für ungerahmte historische Fotografien, die anfällig für Oberflächenabrieb, Kantenschäden und kumulative Belastungen durch wiederholtes Handhaben sind, bedeutet dies einen substanziellen konservatorischen Gewinn. Zugleich adressiert es Dissoziation in zweifacher Hinsicht — sowohl die physische Trennung, die durch wiederholtes Handhaben entsteht, als auch die informationelle Trennung zwischen einem Objekt und dem Wissen, das auf seinem Verso eingeschrieben ist.

Erkenntnisse

Aus dem Pilotprojekt ergaben sich mehrere Erkenntnisse, die jeden weiteren Rollout prägen würden. Erstens hat sich die iterative Methode — Extraktion an einer kleinen Stichprobe, feldweise Korrektur gegen einen Referenzdatensatz, anschliessende Verfeinerung — als wesentlich erwiesen. Nicht alle im Voraus definierten Kategorien hielten der eingehenden Prüfung stand; einige mussten aufgeteilt, andere verfeinert werden, und die mehrsprachigen Inhalte (insbesondere Französisch und Englisch neben den deutschsprachigen Datensätzen) brachten strukturelle Fragen zum Vorschein, die erst während der Korrektur sichtbar wurden.

Zweitens würde eine Skalierung von einem Pilotprojekt mit 100 Fotografien hin zur Verarbeitung von Tausenden eine frühzeitige Abstimmung mit den IT-, Sammlungs- und Workflow-Systemen des Museums erfordern, damit die extrahierten Daten innerhalb des Sammlungsmanagementsystems sinnvoll importiert und genutzt werden können. Dies ist keine technische Frage der Extraktionsgenauigkeit, sondern eine Frage, wie sich die strukturierte Ausgabe in die bestehende Infrastruktur des Museums einfügt.

Drittens muss auch das Quellmaterial selbst vorbereitet werden. Im Pilotprojekt wurde mit Fotografien gearbeitet, die einheitlich gescannt worden waren, wobei sowohl Recto als auch Verso erfasst wurden. Jedes grössere Vorhaben müsste einen vergleichbaren Digitalisierungsstand über die weiteren Fotografienbestände hinweg prüfen, bevor eine Extraktion in grösserem Massstab beginnen könnte.

Was dies für Museen, Archive und Kulturerbesammlungen bedeutet

Diese Fallstudie ist über ein einzelnes Konvolut von Modefotografien hinaus relevant. Viele Museen, Archive und Kulturerbe-Institutionen verwahren Sammlungen, in denen aufschlussreiche Informationen zwar vorhanden, aber sammlungsübergreifend nicht durchsuchbar sind. In manchen Fällen ist diese Information in visuell komplexes Material eingeschrieben — etwa in annotierte Fotografien, Alben, Entwurfsmaterialien oder Musterbücher. In anderen Fällen sind die Sammlungen textlastiger und strukturell überschaubarer, etwa Karteikarten, Register und Bestandsverzeichnisse, in denen Informationen in standardisierterer Form vorliegen. Das Pilotprojekt des Textilmuseums liegt eher am komplexeren Ende dieses Spektrums. Es zeigt, dass Informationen auch dann extrahierbar sind, wenn sie in vielschichtiges und visuell komplexes Material eingebettet sind.

Über das Textilmuseum St.Gallen

Das Textilmuseum St. Gallen, gegründet im Jahr 1878, verfügt über eine umfangreiche Sammlung historischer Hand- und Maschinenstickereien, Spitzen, Stoffe, Kostüme, Musterbücher, Entwurfszeichnungen und Fotografien. Eine Auswahl der Modefotografien des Museums steht im Mittelpunkt der kommenden Ausstellung Mise en Scène. Modefotografie von der Belle Époque bis heute (3. Juli 2026 – 28. Februar 2027).

Dieses Pilotprojekt wurde unterstützt von E. Fritz und Yvonne Hoffmann-Stiftung

www.textilmuseum.ch/en/fashion-photography

Über Archipanion

Wenn Ihre Institution mit Sammlungen arbeitet, in denen wesentliche Informationen zwar vorhanden, aber sammlungsübergreifend nicht durchsuchbar sind, kann Archipanion bei der Einschätzung helfen, wo Metadaten-Extraktion einen Mehrwert bieten kann. Museen, Archive und Kulturerbe-Institutionen, die an einer solchen Zusammenarbeit interessiert sind, sind eingeladen, mit Archipanion Kontakt aufzunehmen, um ihre Sammlungen zu besprechen.

Ready to explore AI for your collections?