Kategorien
Allgemein

Peter Bell: Digitale Kunstgeschichte und Critical Machine Vision

Wenn man an Kunstgeschichte denkt, kommen einem sicherlich alte Gemälde, Museen oder ähnliches in den Sinn. Was hat diese eher traditionelle Disziplin mit den modernen Digital Humanities gemein? Kann man Kunstgeschichte etwa am Computer praktizieren? Ja; in der digitalen Kunstgeschichte. Dieser Disziplin und der Einfluss der Digital Humanities hat Prof. Dr. Peter Bell in seinem Vortrag im Rahmen der Ringvorlesung vorgestellt.

Was ist digitale Kunstgeschichte?

Die digitale Kunstgeschichte ist ein Brückenfach, welches sich stark institutionalisiert hat und auch in Zusammenarbeit mit anderen Fachgebieten wie z.B. Medien- und Musikwissenschaften der Visualisierung materieller Kulturgüter dient. In den letzten zehn Jahren entwickelte sich eine Bildwissenschaft, die stetig versucht ihre Methoden auf Datensätze und Arbeitsweisen der Informatik anzuwenden. So lassen sich ganze Städte, Architektur oder auch einzelne Skulpturen in drei Dimensionen (bzw. gar in vier, wenn man die Zeit dazu rechnet) wiedergeben und rekonstruieren. Weitere historische Daten oder Sekundärliteratur zum Künstler und dem Werk, können dabei direkt an die digitalisierten Objekte angegliedert und abgerufen werden. Die digitale Kunstgeschichte schafft so im Verhältnis von Metadaten und Objekt eine visuelle Übersicht, wodurch sich unzähliges Bildmaterial mittels (mehr oder weniger) signifikanter Merkmale vergleichen lässt. Diese Bilder sind also nicht nur für die Vermittlung, sondern auch für die Recherche und Analyse gedacht. Spricht man von einer digitalen, automatisierten Analyse der Ähnlichkeiten zwischen Kunstgegenständen, kommt die Computer Vision zum Zug.

Dir ist noch unklar, was Computer Vision genau ist? Hier ein Fallbeispiel:

Bilder können durch ein neuronales Netzwerk geschickt und «trainiert» werden. Alle verschiedenen Darstellungen mit demselben Motiv können so angezeigt zusammengefügt werden, diese können sich jedoch in ihrer Herstellung und auch im Stil unterscheiden (Z.B Bildbuchmalerei, Holzschnitt, Glasmalerei etc.). Näher erklärt wird diese Thematik im Blogpost imgs.ai: Die Suche durch Bilder.

Holzschnitt, Glasmalerei oder gar ein Wandrelief: unterschiedliche Kunstarten, aber trotzdem visuell ähnlich!
Quelle: Präsentation von Peter Bell
 

Es werden also unterschiedliche Arten von Ähnlichkeit berücksichtigt. Wie die Bilder miteinander in Beziehung stehen, kann mittels Cluster geordnet werden. Eine grössere Gruppierung ist beispielsweise die Sammlung von Fotografien aus einem einzigen Museum, gruppiert nur aufgrund der Art, wie sie beschriftet wurden. In diesem Fall war die Verbindung also nicht semantisch, sondern rein visuell. Nun hat man eine riesige Datenmenge. Um sich einen Überblick zu verschaffen ordnet man nach unterschiedlichen Kriterien (Die folgenden Bilder stammen alle aus dem Vortrag von Peter Bell):

Korrespondenzen:

Viele Kunstwerke sind miteinander verbunden: Einige sind Kopien eines Ursprungsbildes oder eine Variation desselben Motives. Mit der Übersetzung von einem Bild oder seiner Technik in ein Anderes möchte man verstehen, was im Plot von oben sichtbar ist und wie würde es nach einem Stilltransfer aussehen? Z.B: Ein Gemälde als Skulptur?

Ikonographie:

Es ist ein Motiv, oder ‘Bildthema’, welches allgemein in Kunstwerken wiederholt wird. Der Computer erkennt welche wiedererkennbare Szene / Symbol dargestellt wird. Es wird auch angezeigt, welchen Bereich der Computer angesehen hat. Hier im Bild der rote Bereich.

Kompositionen:

Die Zusammenstellung eines Kunstwerkes wird auf einfache Kompositionslinien im Bild reduziert. Somit wird dargestellt wie das Bild aufgebaut ist.  So kann man Bildkompositionen miteinander vergleichen und schauen, ob sie ähnlich sind.

Objekte:

Der Computer erkennte einzelne Objekte. Auf diese Weise kann man das Vorkommen oder die Darstellung eines Gegenstandes im Verlauf der verschiedenen Epochen untersuchen. Da diese Art von Erkennung jedoch viel Training braucht, müssen viele Daten ins System eingespeist werden. Hier gibt es Unterstützung von den Big 5 (Google, Amazon etc.).

Pose:

Es werden die Personen und ihre Körperposition erkennt. Dabei werden nicht nur die einzelnen Körperteile, sondern zum Teil auch die Mimik erfasst.

Generierung:

Mittlerweile können Programme sogar selber Kunst herstellen. Diese Fälschungen funktionieren noch nicht ‘perfekt’ (wie man im Bild sieht), verbessern sich aber stetig.

Critical Machine Vision

Die Critical Machine Vision, dient dazu, die Methoden der Kunstgeschichte mittels Machine Learning in Onlinearchiven auszubauen und anzuwenden und gewisse Fragen bezüglich der Werke mithilfe von Techniken aus der Informatik beantworten zu können. Die Ergebnisse der Algorithmen können dann von Kunsthistoriker*innen korrigiert (im Falle von Vermischungen oder Missidentifikationen) und interpretiert werden.

Fallbeispiel: Hat man eine Frage zu einem Bild, versucht man mittels neuronalem Netz ähnliche Bilder zu finden. Oft arbeitet man dabei mit Tools oder vortrainierten Netzen, die beispielsweise von Amazon, Facebook und Google bereitgestellt werden. Mit Hilfe dieser Netze werden dann Bilder nach Merkmalen durchsucht. Titel und Kommentare zu den Bildern können ebenso analysiert sowie die Kompositionen und Objekte dargestellt werden. Die kunstgeschichtliche Auswertung der Resultate erfolgt danach in weiteren Schritten, die darauf abzielen, ikonographische und ikonologische Schlüsse zu ziehen. Ikonographie ist die genauen Analyse bestimmter Merkmale, Motive und Elemente eines Bildes. Was ist also der genaue Bildinhalt? Die ikonographische Bildbeschreibung als Antwort auf diese Frage, bietet Grundlage für den nächsten Schritt der ikonologischen Schlussfolgerung. Die Ikonolgie ist bemüht, sich mit der Deutung des Bildes in einem historischen Kontext auseinanderzusetzen. Wichtig also für eine weitere Bildinterpretation sind zeitgenössische Quellen und Sekundärliteratur der jeweiligen Werke. Die Zusammenhänge z. B zwischen einem Gemälde und Literatur, also den entsprechenden Metadaten sind nicht immer so eindeutig. Aufeinander aufbauende kunstwissenschaftliche Methoden wie die Ikonographie und Ikonologie ermöglichen demnach, wie in diesem Fallbeispiel, auch in digitaler Dimension notwendige Bildanalysen für eine Recherche mit grösstmöglichstem Informationsgehalt. Digitale Kunstgeschichte kann so Daten tiefer erschliessen, um auch mehr vom Bildinhalt zu vermitteln.



Eine Antwort auf „Peter Bell: Digitale Kunstgeschichte und Critical Machine Vision“

Ich habe in meinem Kunststudium davon gelernt. Ich wusste gar nicht, dass durch Bildverarbeitung Bilder durch ein neuronales Netzwerk geschickt werden können. Interessant, dass hier zwischen unterschiedlichen Stilen unterschieden werden kann.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.