Suche

Multimodale Interaktion


Dozent(in): Prof. Dr. Elisabeth André, Prof. Dr. Matthias Rehm, Prof. Dr. Martin E. Müller
Termin: Mi. 14:15 - 15:45
Gebäude/Raum: Raum 202 (Eichl.)


Inhalt der Lehrveranstaltung:

Die Suche nach neuen Interaktionsformen zwischen Mensch und Maschine (Rechner) führt zu der Frage, wie sich unterschiedliche Modalitäten zur Ein- und Ausgabe nutzbar machen und sinnvoll kombinieren lassen. Die Analyse von Sprache ist beispieslweise ein gut erforschtes Gebiet, in dem viele nützliche Methoden und Werkzeuge entwickelt worden sind. Doch wie sieht es mit anderen Modalitäten aus, z. B. Gestik oder Emotionen? Und wie lassen sich diese unterschiedlichen Modalitäten nicht nur erkennen sondern auch für Ausgaben nutzbar machen? Diesen Fragen werden wir uns auf unterschiedliche Weise widmen: * Theoretische Grundlagen: Was bedeutet eigentlich Modalität? Wo liegt der Nutzen bei der Verwendung multipler Modalitäten? Welche (beispielsweise aus der Linguistik) bekannten Verfahren lassen sich erfolgreich auf andere Modalitäten übertragen? Wie lassen sich verschiedene Modalitäten integrieren? * Multimodale Systeme: Mit diesem Wissen werden wir uns dann einige aktuelle multimodale Systeme genauer anschauen. * Projekte/Übungen: Es stehen einige Softwaretools zur Verfügung, die den Aufbau multimodaler Systeme unterstützen. In kleinen Softwareprojekten sollen mit Hilfe dieser Werkzeuge lauffähige Demonstrationen entwickelt werden.


Links:


weitere Informationen zu der Lehrveranstaltung:

empfohlenes Studiensemester der Lehrveranstaltung: ab dem 4. Semester
Fachrichtung Lehrveranstaltung: Mensch-Maschine-Kommunikation
Dauer der Lehrveranstaltung: 2 SWS
Typ der Lehrveranstaltung: V - Vorlesung
Leistungspunkte: 4
Semester: jedes SS