Forscher*innen des Innovationshubs der Hochschule für Kommunikation, Medien und Information an der Fundação Getulio Vargas (FGV-ECMI) führen Experimente mit Stable Diffusion durch, einem generativen Modell der Künstlichen Intelligenz, das mit ComfyUI Bilder erzeugt. Die Experimente basieren auf der Aufnahme von Bildern in Echtzeit, welche zur Verarbeitung an ComfyUI gesendet werden. Wie in einem Rotoskopieverfahren (Animationstechnik) erstellt die ComfyUI ein neues Bild, das nicht nur auf den aufgenommenen Bildern basiert, sondern auch auf dem Filter und den Anweisungen, die durch eine Reihe von Wörtern (Prompt genannt) angegeben werden.
Ziel ist es, ein multisensorisches Werk für die Ausstellung „SON(H)O PROFUNDO“ (Tiefer Traum/Schlaf) zu schaffen, die zwischen 2024 und 2025 im Rahmen der Biennale für digitale Kunst im Kulturzentrum Futuros - Arte e Tecnologia (Zukünfte - Kunst und Technologie) in Rio de Janeiro stattfindet. Das Projekt ist das Ergebnis einer Partnerschaft zwischen dem Innovationshub und dem Media Lab, einem Lab der FGV-ECMI zur audiovisuellen Forschung.
Bei den bereits durchgeführten Experimenten stellten die Forscher*innen fest, dass selbst bei einer sehr detaillierten Angabe von Wörtern, die vom Prozess ausgeschlossen werden sollten (negativer Prompt), viele unpassende Bilder erzeugt wurden, die beispielsweise nackte Körper oder Schusswaffen beinhalteten. Aus diesem Grund wurde nach mehreren Tests zur Anpassung an die Richtlinien der Einrichtung und die Altersgruppe des Zielpublikums unter Berücksichtigung der Themen und Zielen der KI-generierten Träumen ein auf Buntstift-Illustrationen basiertes Modell verwendet.
Das Modell Stable Diffusion ist kostenlos und kann auf dem Computer installiert oder in einem beliebigen Browser verwendet werden. Da die Kodierung mit Hilfe von Drittanbietern durchgeführt wird, ist dies eine Option für Computers mit weniger Leistung.
Da das Rendering stark von der Verarbeitungsgeschwindigkeit des Computers abhängt, hat der Prozess bei den Innovationshub-Maschinen eine Verzögerung von etwa zwei Sekunden beim Erstellen eines Bilds, das mit einer Auflösung von 1024x576px visualisiert werden kann.
Zur Erklärung: ComfyUI ist eine grafische Benutzeroberfläche (GUI: Graphical User Interface), die auf Punkten oder Knoten (nodes) basiert und Bildergebnisse durch Feineinstellungen erzeugt.