Forsip.de Homepage Home  Impressum  Presseinformationen  Intern   
Aktuelles Über uns Mitarbeiter Kontakt
Deutsch  English 
  SIKOWO
  SIPBILD
  SIPaDIM
  COSIMA
  SIPKIS
  SIPREACT
  SIPRUM
  TRUSTEE
   
 
SIPBILD
  SIPBILD 1
  Mimik- und Gestikerkennung in Videobildfolgen  
Kontakt
externer Linksipbild@forsip.de

Leitung
externer LinkProf. Dr. Bernd Radig

Download
DownloadFlyer (pdf)
Publikationen
Publikationen zu SIPBILD
Ausgewählte Pressestimmen
Affective Computing: Rechner mit Gefühl
c't - magazin für Computertechnik 18/2004, Seite 88ff, D. Wiegand
Computer und Emotionen
c't magazin des Hessischen Rundfunks (HR), Sendung vom 18. September 2004
10 Jahre abayfor Feier
Rundschau Magazin des BR
vom 26. Juli 2004
10 Jahre abayfor Feier
Rundschau Magazin des BR
vom 26. Juli 2004
Deine Zukunft auf Erfolgskurs:
Das Informatik-Studium an der TU München,
Schülerinformationsbro-
schüre, August 2005, S. 3
  1 Nutzen  und Problemstellung
2 Vorgehensweise  und Anwendung
  3 Team und Kontakt
 
  Vorgehensweise
Mit dem Finger schnippen und das Licht geht an
Der Benutzer soll dem Computer auf einfache Weise mitteilen können, was er möchte. SIPBILD hat es sich deshalb zur Aufgabe gemacht, die Umgebung eines Rechnersystems - einschließlich des Benutzers - anhand von Videoaufnahmen visuell zu erfassen. Diese Informationen werden anschließend ausgewertet und liefern dem Computer so das nötige Wissen, um die Wünsche des Benutzers angemessen erfüllen zu können.

Gestikerkennung
  So kann der Benutzer den Computer durch Gesten dazu veranlassen, bestimmte Aufgaben zu erledigen. Gestikerkennung kann zum Beispiel zur der Steuerung des Wohnkomforts in High-Tech-Häusern angewendet werden. Der Benutzer steuert die Beleuchtung im Wohnraum, indem er Anweisungen in Form von Armbewegungen gibt. Das Bewegen eines Armes nach oben signalisiert dem Rechner "Helligkeit erhöhen".

Hierzu wird wie folgt vorgegangen:

- Erfassen der Umgebung eines Rechner-systems durch das Aufnehmen von Video-sequenzen
- Berechnung der Differenzen von Bild zu Bild
- Generierung von räumlichen und zeitlichen Bewegungsmasken
- Berechnung von Bewegungsmerkmalen
- Klassifizierung der beobachteten Bewegungen in Anweisungsgesten
- Ausführen des jeweiligen Befehls

Mimikerkennung
 


SIPBILD sieht, wie sich der Arm nach oben bewegt und definiert die Bewegung als Erhöhen.
  Auch die Erfassung der Mimik eines Benutzers kann von großem Interesse sein. Wissen über die emotionale Verfassung des Anwenders hilft beispielsweise dem Verkaufsagenten aus dem Teilprojekt COSIMA, die Verkaufsverhandlung zu optimieren.

Wie geht SIPBILD hierzu vor?

Zunächst wird ein Punktemodell der wesentlichen Gesichtskonturen bei neutralem, lachendem und überraschtem Ausdruck erstellt. Dieses Modell wird dann mit den jeweiligen Konturen aus den aufgezeichneten Videosequenzen abgeglichen. Der Rechner erhält so Informationen über den emotionalen Zustand des Benutzers. So kann der Verkaufsagent aus dem Teilprojekt COSIMA nach Auswertung der Daten erkennen, ob ein Benutzer mit dem getätigten Kauf bzw. dem erstandenen Produkt zufrieden ist und gegebenenfalls die Verkaufsverhandlung optimieren.
 
Punktemodell
Anhand der wesentlichen Gesichtskonturen wird ein Punktemodell erstellt. Dieses Modell dient für den Abgleich mit den aktuell aufgenommenen Gesichtsbildern.
 
  Anwendung
Teil einer Vision
  Auch in den Projekten SIPADIM und SIKOWO werden, wie in SIPBILD, adaptive Aktionssysteme entwickelt, die die Umwelt erfassen und darauf reagieren. Durch das Zusammenspiel dieser Systeme können gleichzeitig Bilder und Sprache verarbeitet werden. Daraus ergeben sich innovative Anwendungsmöglichkeiten, die Ihr Leben erleichtern und komfortabler gestalten sollen. Eine adaptive und intuitive Kommunikation ist zum Beispiel unerlässlich zur Steuerung von Servicerobotern.    
  Gehe zu Seite
  1 Nutzen  und Problemstellung
2 Vorgehensweise  und Anwendung
  3 Team und Kontakt

 
   Nach oben           Druckansicht

Fenster schliessen
SIKOWO 1 SIKOWO 2
  • Tracking von Personen
  • Bildverarbeitung mit mehreren Videokameras
  • Situativ, personalisiert
  • Verfolgung von Bewegung und Erkennung von Zeigehandlungen
  • Steuerung und Regelung
Fenster schliessen
SIPBILD 1 SIPBILD 2
  • Videobildfolgenauswertung
  • Steuerung komplexer Systeme durch Gestik und Mimik
  • Beliebige, wechselnde Umgebungsbedingungen
  • Erkennung einer größeren Anzahl Mimiken und Gesten
Fenster schliessen
SIPADIM SIPADIM2
  • Sprachsteuerung komplexer
    Systeme
  • Kontextabhängiges
    Dialogmanagement
  • Selbsterklärung des
    Dialogsystems
  • Benutzerführung
  • Planbasierte Verarbeitung
Fenster schliessen
COSIMA B2B COSIMA T
  • Verkaufsagent
  • Vollautomatisch
  • Verkaufspsychologische
    Dialogführung
  • Individuelle Reise-
    zusammenstellung
  • Anwendung von COSIMA
    in der Touristikbranche
Fenster schliessen
SIPKIS SIPKIS 2
  • Personalisierte Finanz-
    dienstleistungen
  • Beachtung von Risiko
    und Flexibilität
  • Situationen und Rollen
  • Auswahl effizienter und individueller Portfolios
  • Rechtlicher Rahmen
  • Steuern und Sozialkapital
Fenster schliessen
SIPREACT SIPREACT 2
  • Anpassbare Dokumente und Workflows (Abläufe)
  • Prototyp eines Empfehlungssystems
  • Adaptive Informations- und Beratungssysteme
  • Werkzeuge und Autorenunterstützung für Dokumentvarianten
Fenster schliessen
Rollen- und Unternehmensmodellierung
  • Betriebliche Informationssysteme die sich an Situationen, Rollen und persönliche Vorlieben anpassen
  • Benutzungsfreundlicher, individualisierter Mensch-Maschine-Dialog
  • Bedarfsgerechte Datenbeschaffung "just-in-time"
Fenster schliessen
COSIMA B2B COSIMA T
  • Verkaufsagent
  • Vollautomatisch
  • Verkaufspsychologische
    Dialogführung
  • Individuelle Reise-
    zusammenstellung
  • Anwendung von COSIMA
    in der Touristikbranche
Fenster schliessen
TRUSTEE TRUSTEE 2
  • Angebote, Verhandlungen
    und Abschlüsse für Kunden
  • Persönlichkeitsschutz trotz
    Personalisierung
  • Produktsauswahl für die
    gewünschte Anwendung
  • Nachberatung bei
    konkreten Angeboten