unSichtbare Emotionen

unSichtbare Emotionen

Machine Learning Projekt mit chladnischen Klangfiguren und Emotionen

Durch Machine Learning (ML) lernen Computer, ohne explizit programmierte Regeln, Muster in Daten zu erkennen. Ziel des einwöchigen Workshops war es, verschiedene ML Anwendungsbereiche kennenzulernen und in ein eigenes Projekt prototypisch anzuwenden.

Mit unserem Projekt unSichtbare Emotionen wollten wir die Emotion von Studenten durch Face Tracking analysieren, mit Hilfe von Machine Learning trainieren und visuell wahrnehmbar bzw. hörbar machen.

Im Rahmen des Workshops wurde uns „Wekinator“, ein Open Source System zur Echtzeit-Interaktion mit maschinellem Lernen, vorgestellt. Diese Software nutzt das Protokoll OSC (Open Sound Control) und richtete sich logisch nach dem Input-Output Modell um mit Daten zu lernen.

Wir nutzten außerdem das Tool „FaceOSC“ um über die Webcam die Gesichtsausdrücke zu erkennen und diese der Maschine anzutrainieren. Erkennungsmerkmale des Face Tracking sind z.B. weit geöffneter Mund, hochgezogene Augenbrauen oder das Verhältnis der Gesichtspunkte zueinander. Wir ordneten den vier vorher gelernten Ausdrücken jeweils eine dieser Emotion: WUT, NEUTRAL, ERSTAUNEN, FREUDE zu.

Um die Emotion hörbar zu machen nutzten wir das Frequenzmodulationsprogramm „Processing FM Synth“. Dabei ordneten wir jedem Gesichtspunkt eine Frequenz zu. Bei Änderungen im Gesicht ändern sich somit auch die Frequenzen, hörbar mit Lautsprechern. Jede Emotion wurde danach in Frequenzbereiche unterteilt und jeweils einer Farbe zugeordnet, die auf einem Beamer dargestellt wurde.

Über einen Vibrationsgenerator wurden zwei dünne Metallplatten befestigt und mit Schallwellen zum Schwingen gebracht. Um das Ganze visuell wahrnehmbar zu machen wurde eine dünne Salzschicht über die Platte verteilt und bei bestimmten Frequenzen können Muster in Form von chladnischen Klangfiguren beobachtet werden.

Das Machine Learning Konzept hat die Absicht, dass eine Person per Gesichtserkennung Emotionen am Screen darstellt und eine andere Person diese über die visuelle Darstellung der Schwingung von Salzkörnern, Frequenztönen und der Farbe das Emotionsmuster herausfinden soll. Die Muster werden erst deutlich sichtbar, wenn man längere Zeit den Gesichtsausdruck vor der Webcam hält.