 Vortrag ist Messungen von Biosignalen in Videos, aktueller Überblick über die Techniken. Gehalten wird der Vortrag von Nico und Chris und viel Spaß. Ja, vielen Dank für die freundliche Begrüßung. Wir sind, glaube ich, auch die Gruppe mit dem längsten Thema auf dem gesamten Konferenz. Worum es geht, wird Christopher euch gleich näher sagen. Prinzipiell geht es darum, aus Videos Informationen zu gewinnen über die Personen, die man in diesen Videos sieht. Und Christopher und ich werden euch ein bisschen erzählen, was wir so während unseres Studiums, womit wir uns da beschäftigt haben und hoffen, dass wir hier auch viele Kreative treffen, die vielleicht interessante Ideen haben, wie man diese Techniken in kreativen Projekten nutzen kann und nicht nur in rein technischen Projekten. Deswegen wird zuerst mal meine Frage, wer wird sich denn im Raum hier mehr so als Techniker, Informatiker, ähnliches bezeichnen? Mal kurz eben vielleicht. Ja, und der Rest sind alles Kreative. Wer wird sich hier so als Kreativer? Ja, gut. Es ist generell ausgeglichener, als ich gedacht hatte. Schön. Gut. Und als kleines Intro haben wir natürlich auch was vorbereitet, um euch alle in Stimmung zu bringen. Im stündesten Mann der 80er, der darf in keiner Präsentation fehlen. Und ich lass es einfach mal laufen. Sie hat Angst. Ja, das war die Vision in den 80ern. Hier das Auto, das es schafft, durch die Wand die DNA von Personen zu messen, die zuordnen zu können und gleichzeitig noch deren Puls zu messen und dann zu raus schließen, ah, die Person hat Angst. Und wir wollen euch jetzt zeigen, wo wir im Jahr 2015 stehen, was da so die Möglichkeiten sind. Ich muss leider ehrlich sein, durch die Wand wird es nicht funktionieren, aber wir sind auf einem ganz guten Weg und damit übergebe ich jetzt an Christopher, der den Anfang macht. Ja, danke, Nico. Ja, Nico hat ja eine schöne Einleitung schon gegeben, was wir heute mit euch vorhaben. Ich werde am Anfang noch mal ein bisschen zu Begriffsdefinitionen was erzählen, was eigentlich Biosignal überhaupt sind und wie sie sich von biometrischen Charakteristika unterscheiden. Ich werde dann mit großen Intensitäten wie Gesten beginnen, weiter über die Mimik, die schon geringere Intensität in Videos letztendlich hat und dann wird Nico wieder übernehmen und auf diesen eigentlichen Biosignalbegriff, so wie wir den kennen, den ich gleich noch erläutern werde, eingehen und dann schauen wir mal in den Ausblick, wo könnte die Reise hingehen, was könnten wir noch alles in Zukunft erwarten? Ja, die Motivation. Zunächst einmal, was sind biometrische Charakteristika? Das kennen wir sicherlich alle, das ist der klassische Fingerabdruck. Also es sind Messdaten, es ist ein vereinfachtes Modell, wie der CCC schon schön in der Definition sagt. Wichtig hierbei ist, dass biometrische Charakteristika einmalig sind, im Idealfall einmalig, so ein Fingerabdruck gehört immer zu einer Person und dieser Fingerabdruck, dieses biometrische Charakteristikum, ist konstant. Das heißt, wenn ich meinen Fingerabdruck heute messe und in zehn Jahren ist es im Idealfall noch derselbe. Dazu gab es auf dem 31C3 einen schönen Talk von Starbuck, ich weiß nicht, wer den gesehen hat, ansonsten empfehle ich den und lege dem ans Herz, der war wirklich sehr gut und auch teilweise sehr creepy. Damit beschäftigen wir uns aber nicht, denn wir wollen den Biosignalbegriff erst mal erörtern und zwar unterscheiden sich Biosignale von biometrischen Charakteristika genau in diesen Punkten. Ein Biosignal ist erst mal nicht einmalig, bestimmt haben wir im Raum, wenn wir als Beispiel mal die Temperatur nehmen, zwei Personen dieselbe Temperatur und wenn ich jetzt einem um den Block laufe, ist meine Temperatur natürlich etwas höher als jetzt, deswegen ist die Temperatur und damit Biosignale nicht konstant. Das Ganze wollen wir messen mit handelsüblichen Kameras. Ja, was gibt es alles für Messverfahren, um Biosignale abzugreifen? Das EKG-Klassiker, das kennt jeder, sehen wir auch ganz unten links in dem Bild, gleichzeitig mit der Puls-Oximetrie, das ist dieser typische Fingerclip, den wir auch in dem zweiten Bild von links sehen und ganz rechts haben wir das EEG, was die elektrische Aktivität der Hirnström oder das Gehirnsmist, zudem auch das EOG, was man an der Seite von dem Auge sieht und zwischen den beiden Augen, denn das EOG tritt in dem EEG als Störsignal auf. Das müsste man dann noch mit abgreifen, damit das hinterher herausgerechnet werden kann, damit man das echte Signal letztendlich bekommt. Ganz interessant ist vielleicht auch noch die Elektromyografie als einziges invasives Verfahren, das heißt mit Schädigung des Gewebes, der Rest ist alles zwar kontaktbehaftet, aber ohne Schädigung. In der EMG sehen wir auch in dem zweiten Bild von rechts, es ist halt wirklich ein invasives Verfahren, was unter die Haut geht, im wahrsten Sinne des Wortes. Welche Nachteile bringen diesen Messverfahren, diese Methoden mit sich? Zum einen ist natürlich die Hard-Uni-Software nicht immer kostenfrei oder auch relativ kostenintensiv. Zudem sind diese Verfahren in gewissen Kontexten nicht einsetzbar, sei es eine fehlende Kompatibilität für Patienten, weil schönes Beispiel oder schlechtes Beispiel, irgendwelche Gliedmaßen fehlen, wo man vielleicht nicht das Puls-Oximeter dran klemmt kann oder einfach ist der Patient nicht willens, dass diese Biosignale abgegriffen werden, das heißt der Patient ist nicht kooperativ. Bei einem vollständigen EKG haben wir auch noch das Problem, dass es 12 Elektroden sind. Es ist eine zeitintensive Verkablung notwendig, die auch nur durch Fachpersonal durchgeführt werden kann, damit es auch fehlerfrei ist. Und zudem sind natürlich invasive Verfahren nicht von jedermann durchführbar. Da ist natürlich ein Arzt wirklich wichtig, der das durchführt, der das macht. Einige dieser Nachteile wollen wir oder hoffen wir, mit videobasierten Verfahren lösen zu können. Zum Beispiel der erste Punkt direkt mit der kostenintensiven Hard-Uni-Software, wenn man das alles mit einer einfachen Kamera machen könnte, wäre das natürlich super, dann kann man seine Kamera nehmen und dann kann man diese Signale abgreifen. Genauso die Verkablung würde wegfallen, wenn wir das Kontakt los mit Kameras machen. Und zudem können wir eventuell potenziell damit noch weitere Fragestellungen beantworten, die diesen herkömmlichen Biosignal Begriff PULS ist 60 Schläge pro Minute noch übersteigen. So können wir noch Emotionen aus Gestiken und Immikten eventuell mit extrahieren. Ja, gehen wir zu der Gestenerkennung, zu den großen Intensitäten, wie ich am Anfang schon gesagt habe. Was ist erstmal eine Geste? Eine Geste beinhaltet immer mehr Informationen. Es ist nicht bloß das einfache Winken mit der Hand, sondern das heißt dann hat noch eine Information, noch Meter Daten dazu, Hallo oder auf Wiedersehen. Ist bereits eine etablierte Technologie, wenn ich jetzt hier an mein Telefon denke, das Samsung Galaxy S4, da kann ich durch meine Bildergalerie Kontaktlos mit Gest, Links und Rechtsschwenk durchnavigieren oder auch bei modernen Smart TVs, die auch alle eine Kamera oben mit drin haben. Damit funktioniert auch schon Gestensteuerung heutzutage. Für den Heimgebrauch gibt es die Microsoft Connect, kennen wahrscheinlich die meisten. Das Schöne an der ist, dass das SDK schon einiges mitbringt, dass man relativ wenig implementieren muss. Es gibt diese Skeletal Tracking, wird von Haus aus unterstützt, Personenerkennung und auch schon Gestenerkennung. Man kann dem System schon Gesten antrainieren und diese dann erkennen. Da gab es gestern auch einen Workshop zu, ich weiß nicht, wer da war. War der gut, ich war leider nicht da. Ah, gut, dann kannst du bestimmt noch mehr zu der Kinekt erzählen später. Hier sind mal ein paar Produktbeispiele, ganz links, das ist schon in so einer augmented reality Welt letztendlich mit einer Brille noch zusätzlich, wo das über Gesten wird, wird das System gesteuert, anklickbar und ja, ist von Microsoft 2015. Ja, in der Mitte, auch der Klassiker irgendwie im Modellbereich, dass man Modelle rotieren kann, skalieren kann, alles über Gestensteuerung. Und ganz rechts, das war in, ist in Wien, in der U-Bahn Gestenerkennung zu Werbezwecken. Das heißt, bei bestimmten Gesten werden bestimmte Aktionen auf dem Bildschirm getriggert, ausgeführt und so lässt sich Werbung machen. Ja, die prinzipielle Funktionsweise erstmal zu Gestenerkennung. Zugrunde liegend ist immer ein mathematisches Modell hier von der Hand als Beispiel. Von diesem Modell extrahieren wir unsere Modellparameter die halt charakteristisch dafür sind. Wenn wir jetzt ein neues Bild bekommen über eine Kamera oder die, wo wir diese Gesten erkennen möchten, analysieren wir diesen Frame, extrahieren die gleichen Merkmale, die gleichen Parameter und vergleichen das mit unserem zugrunde liegenden mathematischen Modell, können darauf die Erkennung, damit die Erkennung machen und können es noch mit einer Grammatik weiteren Informationen füttern, die dazu passen und können dadurch dann unsere Geste beschreiben und zusätzlich das, was am Ende rauskommt, auch wieder in die Analyse mit einfließen lassen. Jetzt gehen wir von den Intensitäten etwas weiter nach unten, also die werden etwas kleiner. So eine Geste ist natürlich relativ groß, einfach zu erkennen. Bei einer Mimik ist das schon etwas schwieriger. Die prinzipielle Fragestellung ist dieselbe, nur dass, wie gesagt, die Intensitäten kleiner sind und sich auch Anzeichen für Emotionen messen lassen. Zum Beispiel ganz links, die Frau, würde ich sagen, die ist glücklich, die freut sich. Links daneben, rechts daneben, der kleine Junge, ich glaube, der ist so sauer, würde ich jetzt vermuten. Und ganz rechts bei den älteren Herren wird es schon schwierig. Also da könnte ich jetzt auf Anhieb nicht sagen, was für eine Emotion er mit dieser Mimik aussagen möchte. Zu Grund erlegend haben wir natürlich immer eine Gesichtserkennung. Das ist ein Video. Ja, also Algorithmen zur Gesichtserkennung gibt es zu Hauf. Der Klassiker ist natürlich Viola Jones, der für Objekterkennung genutzt wird und im speziellen Fall halt für Gesichtserkennung das Paradebeispiel schlechthin. Wir sehen rechts in dem Video, das sind diese Features, die über dieses Bild berechnet werden und sind jetzt auch bei dem Hut. Geht das Fenster relativ schnell drüber, weil die Features nicht zu einem Gesicht passen. Wenn das rote Vier gleich im Gesicht ankommt, dauert das ein bisschen länger und der Algorithmus erkennt auch tatsächlich, dass sich dort ein Gesicht befindet. Auch da ist die prinzipielle Funktionsweise so wie gerade schon beschrieben, dass dem wieder ein Modell zugrunde liegt. Diese Klassifikatoren, diese Kestchenieder durch dieses Bild wackeln, beschreiben letztendlich das Gesicht. Jetzt kommt es gleich. Das Schöne an Viola Jones ist, dass dieser Algorithmus schon in OpenCV vorhanden ist, ist mit wenigen Zeilencoach schon so laufähig und vor allem in Echtzeit. Das ist genau das, was in dem Paper Viola Jones gezeigt wurde. Das sieht man ganz gut, glaube ich. Für speziellere Fragestellungen gibt es auch Algorithmen. Liedschlag, Blickrichtung. Da kommen wir gleich noch mal ein bisschen drauf zu sprechen. Im Kinect SDK werden markante Punkte im Gesicht erkannt und diese auch mit der zugrunde liegenden Datenbasis verglichen und auf Basis dessen auch gesagt, das ist jetzt ein Gesicht. Man könnte dann auch noch daraus schließen, okay, die Mundwinkel, die Parameter sind jetzt so oder so, die Augen sind weit geöffnet. Das könnte jetzt ein Anzeichen für diese oder jene Emotion sein. Beispielhaft der Anwendung. Was gibt es so aktuell auf dem Markt in dem Bereich? Da kommen jetzt monatlich, wöchentlich fast Patente rein. Das erste ist von Opel. Eine Anpassung des Scheinwerferlichtes, beziehungsweise die Richtung, angepasst an die Blickrichtung des Fahrers. Das heißt, wenn der Fahrer nach links schaut, wird auch links der Teil der Straße mehr beleuchtet, wenn der Fahrer nach rechts schaut, auf der rechten Seite. Ja, bei Jaguar ist so ein ähnliches Prinzip und zwar soll erkannt werden, ob der Fahrer in den Rückspiegel schaut. Wenn es regnet, wird der Scheinwischer, der Heckscheinwischer einmal getriggert, damit der Fahrer eine freie Sicht nach hinten hat. Ob man das wirklich brauche, ist fragungswert. Aber auf der rechten Seite in dem Bild erkennen wir auch ein Produkt, was die Müdigkeit des Fahrers versucht zu messen. Man sieht, dass das Gesicht getrackt wird, die Augen getrackt werden und auf Basis dessen die Anzeichen für Müdigkeit versucht werden zu erkennen. Und das letzte, was ich auch ganz spannend und auch ein bisschen beängstigend finde, ist ein Patent von Microsoft, welches eine Brille ist, die das Umfeld nach Menschen scannt, sage ich mal ganz vorsichtig, und deren Emotion versucht dem Träger bereitzustellen und auch die eigenen Emotionen des Trägers zu messen. Das heißt, wenn ich jetzt so eine Brille auf hätte und in das Auditorium schauen würde, hier erkennen würde, dass alle gelangweilt sind, müsste ich jetzt einen Witz machen. Ja, mache ich aber nicht. Ja, ich glaube, das war es auch schon mit den großen und etwas kleineren Intensitäten als Einführung. Und Nico übernimmt jetzt mit den eigentlichen Biosignalen, was ich eingangs erwähnt hatte, Pulsatmo. Ja, vielen Dank. Jetzt sind wir an der Stelle angekommen, wo es quasi interessant ist, mal Gesten zu erkennen oder Mimik zu erkennen. Das fällt uns ja als Menschen auch relativ einfach. Wenn ich jetzt euch zuwinke, könnt ihr es alle relativ deutlich sehen und auch interpretieren, was ich damit meine. Jetzt kommen wir bei den Biosignalen an. Da sind wir jetzt bei Intensitäten, die so klein sind, dass es schon auch für den Menschen nicht mehr möglich ist, die zu messen, weil unser Seeapparat dafür einfach nicht ausgelegt ist. Da kommen gleich ein paar spannende Beispiele zu. Und das sind jetzt wirklich Biosignale im eigentlichen Sinn. Wir wollen jetzt mal wegen die Atmung messen von einer Person oder den Herzschlag, etc. Und der Unterschied ist zu den beiden vorherigen Informationen. Jetzt können wir dann natürlich auch Informationen über den Gesundheitszustand einer Person aussagen. Das heißt, wenn wir es jetzt schaffen aus einem Video, wo eine Person in Ruhe sitzt, den Puls zu messen, akkurat, und dann wird gesagt, okay, die Person hat ein Puls von 100, dann könnten wir schon sagen, okay, da ist vielleicht was nicht in Ordnung, das müsste man sich näher ansehen. Und da habe ich auch ein kleines Beispiel zu mir mitgebracht. Und jetzt würde ich euch einmal bitten, hier diesem netten Herrin, der in die Kamera guckt, einfach nur mal anzusehen. Und das ist jetzt ein perfektes Beispiel. Also ich erkenne nichts. Ich kann das Video auch gerne noch mal starten. Ich würde aber vermuten, dass es allen hier so geht. Wenn man sich jetzt diese Person so anguckt, ist unser Seeapparat nicht dazu ausgelegt, hier irgendeine Information heraus auszulesen. Oder ihr könnt euch ja mal einen Partner, der neben euch sitzt, anschauen. Da werdet ihr auch im Gesicht wahrscheinlich keine Anzeichen für seinen Herzschlag sehen. Aber wir wollen mal schauen, ob das nicht mal mit Hilfe von Technik doch irgendwie hinkriegt. So, und jetzt zur prinzipiellen Funktionsweise. Christoph hat ja vorhin relativ einleuchtend erklärt, man muss immer mit irgendwelchen Daten trainieren und die dann vergleichen mit dem, was man misst. Und dann hofft man, kann man sozusagen darüber ein Matching betreiben, dass man sagt, okay, das, was ich jetzt neu gemessen habe, das passt zu dem, mit dem ich trainiert habe. Daraus kann ich dann erkennen, ist ziehen. Und hier als Beispiel, hier würde wieder eine Person, die ihr da rechts seht, wurde wieder gefilmt. Das ist jetzt ein Frame aus einem Video. Und dann wurden einfach mal die Pixel-Intensitäten verfolgt. Das heißt, ich habe hier, wenn ich meine, ich habe leider keinen Stift hier für rotes Licht, deswegen müsst ihr alle auf meinen Mauszeige achten. Hier dieser kleine, grüne Pixel, der wurde über die Zeit verfolgt. Das heißt, über das Video, über mehrere Sekunden, über 20 Sekunden. Und das sind hier diese aufgezeichneten Intensitäten. Das heißt, wie sich dieser Pixel in dem Video verändert. Und hier geben wir alle recht, hier erkennt man auch nicht relativ viel. Aber wenn man dann mehrere Pixel nimmt und mittelt, zum Beispiel diesen Ausschnitt hier, der hier so blau, diese Region, die hier so blau hinterlegt ist, wenn man diese ganzen Pixel mittelt in einem Frame und die über die Zeit betrachtet, dann sieht man hier oben rhythmische Muster, die hier entstehen. Und diese Muster, die entsprechend der Fluktuation das Herzschlag ist. Das wird sich jetzt noch ein bisschen abgefahren an, aber ich habe ein paar Beispiele dabei, warum es funktioniert. Das heißt, wir fangen jetzt mal an, damit, dass wir die Aktivität des Herzens messen wollen. Das heißt, den Herzschlag. Und hier gibt es zwei prinzipielle Herangehensweisen. Und die eine ist die Farbveränderung der Haut. Was ich vorhin angesprochen habe, wenn man sich gegenseitig mal ins Gesicht schaut, dann können wir da keine Farbveränderungen sehen, weil diese Intensitäten sehr, sehr klein sind, aber die existieren. Und das ist so, dass mit jedem Herzschlag wird ja Blut in unseren Kopf gepumpt. Und im Blut befinden sich Partikel, die auf Licht reagieren. Und wir sitzen jetzt im Raum hier, werden durch die Scheinwerfer hier angestrahlt und das Licht dringt in unsere Haut ein, trifft dann auf diese absorbierenden Partikel und wird mehr oder weniger absorbiert und das Licht wird wieder zurückgeworfen. Und daraus ist dann klar, wenn viele von so absorbierenden Materialen, meinetwegen, da ist, wird viel absorbiert, aber wenn dann das Blut gerade weg ist, wird weniger absorbiert. Und das heißt, unsere Haut strahlt Information aus, wie viel Blut sich gerade dort befindet. Wir können sie nur nicht sehen, aber ich werde gleich zeigen, dass es funktioniert. Oder eine andere Möglichkeit, die Herzaktivität zu messen, ist über Kopfbewegungen. Das heißt, mit jedem Herzschlag wird ja auch viel Blut vom Herz in unseren Kopf gepumpt, über die Halsschlagader. Und dadurch bewegt sich unser Kopf. Darauf achten, das können wir jetzt nicht sehen, aber hier im Beispiel aus dem aktuellen Paper, das ist rechts wieder jemand, der in die Kamera guckt, mit möglichst wenig Algenbewegung. Und dann sieht man unten das EKG. Das ist halt eins dieser Kontaktbasierenverfahren, die Christopher vorgestellt hat. Da wird die Herzaktivität gemessen. Und jede dieser spitzen Zacken, das nennt man Erdzacke, die ihr hier seht, das ist, wenn wirklich das Herz kontrahiert. Also das Herz sich zusammenzieht und das Blut ausgeworfen wird. Und ihr könnt sehen, das sind jetzt auch wieder, ich schätze, ca. 10 Herzschläge, dass die hier, wenn man die Kopfbewegung misst, mit natürlich relativ komplizierten Algorithmen, aber die haben leider keine Zeit einzugehen, dass es hier eine Korrelation gibt. Das heißt, man kann auch wirklich aus den minimalen Kopfbewegungen den Puls messen. Was man noch messen kann, ist die Atmung. Das heißt, es ist ja auch so, das seht ihr auch vielleicht manchmal selbst, wenn man sehr stark atmet, dann hebt und senkt sich der Brustkorb mehr oder weniger. Und das kann man natürlich direkt oder indirekt messen. Das heißt, ich habe jetzt mal ein Video mitgebracht von einer Person, die wir gefilmt haben, die hat sich hingelegt. Und dann haben wir von den Füßen einfach mal Licht zu dieser Person geschickt oder ausgesendet mit einem normalen Beamer. Und dann könnt ihr hier oben etwas oberhalb der Augen sehen, dass da immer so ein Schatten größer und kleiner wird. Und das ist der Bauch. Das ist der Brustkorb. Mit jedem Atemzug hebt sich der Brustkorb und danach wird er wieder kleiner. Und das ist jetzt ein Merkmal, was man sehr deutlich hier sehen kann. Das heißt, hier können wir auch als Menschen schon die Atmung sehen. Das Ganze funktioniert allerdings auch ohne jetzt die Person mit Licht anzustrahlen. Das haben wir nur erzeugt, damit man deutlich sieht, man kann jetzt hier indirekt quasi die Atmung messen. Das war jetzt natürlich relativ viel Information. Deswegen haben wir jetzt auch mal ein paar Beispiele und ein paar Videos mitgebracht, wo das Ganze in der Praxis benutzt wird und auch als Beweis, dass es funktioniert. Und seit einigen Jahren gibt es sehr viele Gesundheits-Apps. Hier oben gibt es jetzt von einem namenhaften Technologiehersteller, eine käuflich zu erwärmte App. Ihr könnt sehen, hier ist ein iPad. Da befindet sich eine Kamera drin und diese Kamera misst quasi das Gesicht von zwei Personen, die sich vor dem iPad sitzen. Und hier wird dann mysteriöser Art und Weise irgendwie der Pulse braided. Und man sieht hier beide haben gerade ein Pulse von 60. Das ist aus einem Werbevideo. Der iPad bei kann nur empfehlen, wenn man so ein richtig hartes Werbevideo sehen möchte. Der kann sich das angucken mit nur Buzzwords. Ganz toll. Allerdings hat natürlich auch das Lücken und Tücken. Ihr kennt das vom CCC. Die alle biometrischen Systeme sind fehlerbehaftet und natürlich auch diese Apps. Und da muss man klein Spaß erlaubt. Hier so ein kleines Video erzeugt mit einer dieser Apps, die angeblich den Pulse messen. Ich halte hier einfach nur diesen Zettel vor die Kamera und gleich werden wir sehen. Oh mein Gott, wir haben Leben geschaffen. Gleich kommt es oben links. Gleich sieht man BPM. Das ist die Herzschläge pro Minute. Oh Gott, wir haben diesen Zettel zum Leben erweckt. Also wie gesagt, das Problem ist natürlich bei solchen kleinen Intensitäten, die wir messen und verarbeiten wollen, dass es überhaupt sehr schwierig ist, dass natürlich sobald Rauschen es gibt. Wenn zum Beispiel hier oben in dem Video würden sich die beiden Personen bewegen oder mit dem Kopf nicken, dann wird dieser Algorithmus natürlich sehr große Fehler werfen. Weil es sehr schwer ist, um das zu erkennen. Und wenn sich dann natürlich im schlimmsten Fall wenn man das über eine Handicamera macht, die Handicamera bewegt oder das Objekt sich bewegt, wie hier in unserem Beispiel Video, wenn sich dann noch vielleicht die Beleuchtung ändert, dann ist es natürlich auch für ein Algorithmus sehr schwer einzuschätzen. Was messe ich denn da gerade überhaupt? Und wir haben hier einfach nur ein Gesicht drauf gemalt. Das wird dann von diesem Viola Jones Algorithmus höchstwahrscheinlich einfach als Gesicht erkannt. Wenn es hier so grün wird um das Bild herum und dann wird einfach gemessen oder stark gefiltert, das heißt, das Ganze kann so natürlich nicht funktionieren und funktioniert nur unter sehr guten Bedingungen. So, und jetzt habe ich nochmal ein paar Anwendungen dabei, wo das Ganze den wirklich benutzt werden kann. Vernünftig und nicht mit irgendwelchen Spaß-Apps. Das heißt, im militärischen Umfeld ist das Ganze natürlich sehr interessant. Denn Christoph hat ja am Anfang erzählt, wo diese ganzen kontaktbasierten Verfahren Probleme mit sich bringen. Und ein Beispiel zum Beispiel ist, unten links seht ihr das, das ist eine neugeborene Station. Das heißt, hier sind wirklich oder Frühgeborene, die dort in diesen Kammern am Leben gehalten werden. Und da muss man natürlich gerade in so einem kritischen Umfeld, ganz besonders darauf achten, man muss Puls abnehmen, man muss die Atmen messen, dass die nichts passiert. Aber ihr könnt euch natürlich vorstellen, an so einem kleinen Knirps da dann LKG-Elektronen anzubringen. Das ist auch eine Belastung für das Baby. Und hier wäre es natürlich von Vorteil, wenn man das Ganze kontaktlos machen kann. Und da gibt es hier diese eine Publikation, die wir installiert haben, damit das neugeborene gemessen gefilmt haben und dann versucht haben, daraus die Herzrate zu berechnen. Das Ganze ist natürlich aber auch sehr schwierig. Wenn sich das bewegt oder verdeckt, dann wird natürlich auch hier die Messung nicht akkurat. Ein anderes Beispiel, was Christoph und ich euch jetzt mitgebracht haben, hier seht ihr so einen Magnet-Resonanz-Tomographen, MRT, da wird vielleicht der ein oder andere schon mal reingeschoben. Und im Endeffekt ist das nichts anderes als ein großer Foto-Operat. Man muss halt irgendwann sich entscheiden, wann man die Aufnahmen macht. Und hier ist das Problem, wie bei jedem anderen Foto-Operat, wenn sich gerade das Objekt bewegt, wird das Bild verschwommen. Und natürlich möchte der Arzt nicht da jemand eine Stunde reinschieben und dann kommt verschwommenes Bild raus. Also muss man zu bestimmten Abständen hier die Bildgebung machen auf Basis des Videos, so dass das Bild akkurat wird. Das Problem ist natürlich, man möchte mit so einem MRT zum Beispiel Herz-Bildgebung machen. Man muss den Puls ihr Herz an, damit wir dann eben das Foto machen können. Das heißt, auch hier ist eine Anwendung zum Beispiel, dass man versucht den Puls zu messen und immer zu messen, wann ist gerade das Blut da im Herzen und wann ist es weg. Und dann damit rhythmisch Foto, also die Bildgebung startet, vereinfacht gesagt. Oder hier noch ein anderes Beispiel von der Dialyse-Station. Hier sieht man ein Paket, der gerade an der Dialyse-Maschine hängt. Hier wurde dann die oben links eine Kamera angebracht und hier ein paar weitere Beispiele im medizinischen Umfeld. So, andere Anwendungen, die jetzt immer schön in so einer Präsentation zu zeigen sind, ist, wenn man diese Biosignale verstärkt. Das heißt, ich habe euch am Anfang dieses Video von dem Herren gesehen, der in die Kamera guckt und wir haben alle nichts erkennen können. Wenn man jetzt aber geschickte Algorithmen nimmt, kann man Biosignale messen und gleichzeitig wieder in das Video einbringen. Das heißt, jetzt wird allen klar, ihr seht, da verändert sich die Haut der Person. Der Blutfluss, wie das Herz jetzt regelmäßig mit jedem Herzschlag ins Gesicht gepumpt wird. Diese Intensitäten sind für unseren menschlichen Wahrnehmungsapparat zu klein, um sie zu sehen. Aber wenn man natürlich eine Kamera hat und dann mittelt über die Zeit, kann man diese minimalen Effekte erst messen und dann wieder in das Video bringen. Ich mache es noch einmal an, dann habt ihr es auch hinter euch. Dann sieht man sehr schön, wie das Blut halt sich in den Kopf macht. Hier ist wieder ein Beispiel, es ist ein Bege, das hier in Ruhe liegt und ich würde euch bitten, einmal auf den Brustkorb zu achten. Hier wurde jetzt die Atmung verstärkt. Das heißt, wenn man sieht, das hier eigentlich in dem Originalvideo ist so gut wie gar nicht. Aber wenn man die Atmung verstärkt, nachdem man sie gemessen hat, sieht man auch hier, dass man die Atmung verstärken kann. Dann könnt ihr euch vorstellen, das ist alles in Ordnung. Das waren jetzt ein paar Anwendungen, die wir euch zeigen wollten. Allerdings war das jetzt ein sehr eingeschränkter, ganz kleiner Bereich. Nur mit normalen RGB-Kameras oder das geht auch mit schwarz-weiß-Kameras, aber jetzt nicht mit irgendwelchen besonders ausgefallenen Messapparaten. Man kann sich jetzt aber vorstellen, dass man das auch mit anderer Hardware macht. Das sind Ideen, die uns jetzt gekommen sind, vielleicht Hochgeschwindigkeitskameras oder kontaktbasierte Verfahren. Das ist fünffert, glaube ich. Das bringt das schon von sich aus mit. Da kann man einfach den Finger auf die Kamera legen und daraus wird dann der Puls berechnet. Das ist dann natürlich kein kontaktloses Verfahren mehr, aber sowas geht natürlich auch, dass man einfach den Finger direkt auf die Kamera legt und dann wird aus dem Signal der Puls berechnet. Oder eine andere Idee, so Wärmebildkameras, so eine vielleicht hat. Hier ist eine Publikation, da wurde eine Wärmebildkamera genommen, und der Kopf des Neugeborenen, den sieht man jetzt leider bei der Auflösung nicht so genau, aber im Endeffekt, was gemessen wird, sind die Nasenlöcher. Denn wenn wir jetzt atmen, dann atmen wir erst kalte Luft ein und atmen dann wieder warme Luft aus. Und so die warme Luft, die wir dann ausatmen, die kann man natürlich mit einer Wärmebildkamera messen. Das wird hier gemacht. Dann sieht man, wenn man das dann als Plot aufträgt, sieht man hier auch so zyklische Sachen, die sich wiederholen, und das sind die Atemzyklen. Oder eine andere Idee, sind spezielle Fotodioden. Das hat mal hier jemand gebaut. Hier ist eine LED, die strahlt diese Hand an in ca. 30 cm Abstand. Und dann nimmt man nur so eine Foto... Ich bin leider etwas aktiv hier mit dem Touchpad. Dann nimmt man nur eine Fotodiode, die nur in ganz bestimmten Wellenlängen misst, als speziell die Wellenlängen zugeschnitten auf das Signal, das uns interessiert auf diese kleinen Farbveränderungen. Dann kann man natürlich auch solche Apparaturen bauen, die es erlauben, Kontaktlos den Puls zu messen. Das heißt, hier gibt es sehr viele Anwendungen, auch mit vielleicht nicht handelsüblichen Kameras. So, und jetzt haben wir uns erlaubt, ein bisschen zu spekulieren, wo die Reise sowohl hingeht in den nächsten Jahren, was denn da noch alles auf uns zukommt. Und was wir beide glauben, was so die Trennste in diesem Bereich der nächsten Jahre sind und haben ein bisschen Material noch hierzu sorgt. Und zwar zum Einglauben, dass jetzt eine Aufwertung kommen wird, dass das Biosignal messen an sich. Das funktioniert schon relativ gut. Das ist immer die Frage, was macht man daraus? Die kreativen Ideen, wie können wir darüber interessante Aussagen machen, z.B. über Gesundheitsfragen? Und hier gab es eine interessante Publikation. Hier ging es um Migräne. Ganz links die Person ist gesund, absolut. Die mittlere Person hat migräne Fälle in der Familie, das heißt, die Eltern waren belastet. Und ganz rechts die Person hat gerade einen Migräneanfall. Und was wir hier visualisiert sehen, das sind jetzt alles Pseudo-Fahren, das heißt, das hat jetzt nicht die Kamera eingemessen, sondern das hat die Kamera visualisiert. Dann sieht man ganz links bei der Person und bei der Person in der Mitte eine relativ gleichmäßige homogene Durchblutung. Das heißt, wenn ihr euch die Stirn anguckt, da sehen wir hier, ist die Durchblutung sehr homogen und gleichmäßig und auch intensiv, während man bei der Person rechts sieht, dass die komplette Stirn und die Wangen hier überhaupt keine Durchblutung ist. Das heißt, anscheinend hängt es vielleicht damit zusammen Migräneanfälle durch eine zu niedrige Durchblutung und eine Forschungsfrage, aber in solche Richtungen kann man da natürlich mal schauen und verschiedene Sachen ausprobieren. Oder eine interessante andere Sache, die wir mitgebracht haben. Das ist jetzt auch ein kontaktloses Verfahren. Ich muss versuchen, die Videos gleichzeitig zu starten. Es wird wahrscheinlich klappen. Hier geht es darum einen Fuß, der ist einfach nur aufgelegt und dann kennt ihr alle diesen Reflexhammer, mit dem man Reflexer auslösen kann. Dann wird auf diesem Fuß hier die Achilles-Ferse, der Reflex quasi ausgelöst. Dann sieht ihr, der Winkel, der zwischen diesen drei Punkten aufgespannt wird. Also die Videos sind leider etwas zeitversetzt. Also im Endeffekt, der Fuß schlägt aus, geht nach hinten und klappt dann wieder zurück. Und jetzt kommt gleich ein erneuter Schlag, dann sieht man es nochmal etwas deutlicher. Dann schlägt der Fuß wieder dementsprechend aus und wir können dann wieder uns diese Kurve anschauen. Und dann wäre jetzt natürlich eine interessante Frage. Was schlägt der Fuß dann aus? Ob man nicht daraus eine Information gewinnen kann. Denn es ist so, wenn man Verletzungen an der Ferse kriegt, die lassen sich nur sehr schwer vorhersagen. Und vielleicht kann man natürlich sich diese Kurven analysieren und vielleicht ist es ja so, dass bei gesunden und bei kranken Personen hier unterschiedlich Kurven sich entwickeln. Aus dem man dann auch wieder trainieren kann und vielleicht irgendwann mal in ferner Zukunft vorhersagen, ob er machen kann. Und so ein Risiko macht man mehr Sport oder macht weniger Sport. Also vielleicht kann man dann auch wirklich Aussagen über Gesundheit machen, Gesundheitsfragen machen. Und so runter sind wir auch schon bei unserer letzten Folie angekommen und hier nochmal eine ganz interessante Frage. Das kennt vielleicht der ein oder andere. Das ist eine ganz frische Publikation und was hier draußen sieht, da ist eine High Speed Car, so eine Kamera ist draußen angebracht vor schallsicherem Glas und jemand befindet sich in dem Raum und sagt etwas. Er sagt gleich ein kleines Gedicht auf und diese Kamera misst nur diese Ships-Tüte. Das ist der Ausschnitt, den ihr oben rechts seht, wo gerade der Mauszeiger drüber ist und dann schauen wir doch mal, was man aus diesem Video messen kann. This is what a cell phone was able to record from inside next to the bag of chips. Mary had a little lamb whose fleece was white as snow and everywhere that Mary went, that lamb was stored to go. And this is what we were able to recover from High Speed Video, filmed from outside behind soundproof glass. So, also wie gesagt, man kann einfach den Ton von dem gesprochenen Wort im Raum nur aus den minimalen Veränderungen dieser Ships-Tüte berechnen. Das ist ein klassisches Bier-Signal, wenn man etwas sagt. Aber trotzdem, vielleicht geht auch da der Trend hin. Vielleicht muss man gar nicht mehr den Menschen irgendwann direkt filmen, sondern kann durch die Veränderung, die er irgendwie auslöst, auch Aussagen über den Menschen treffen oder was dieser gerade getan hat. So, damit sind wir bei unserer letzten Folie. Wir hören so auf wie wir angefangen haben mit einem guten Aussehen in Mann. Wir danken uns für die Aufmerksamkeit und sind offen für eure Fragen. Da kommt schon die erste Frage. Was mir jetzt so in den Kopf kam, war so die Idee des Smart-Mirrors oder so. Also, das wirklich so eine Kamera in dem Spiegel ist, schon etwas creepy. Und die sagt dann dann wirklich was über seinen Gesundheitszustand. Was ich mich auch frage ist, ob man bei den Smartphones nicht einfach, die wissen ja eigentlich, wie sehr sie bewegt werden, ob man das nicht herausrechnen kann. Und bei medizinischen Anwendungen, wo jetzt die Gefahr besteht, dass jemand bewegt und dadurch die Messwerte nicht stimmen, ob da nicht vielleicht mehrere Kameras helfen könnten. Ja, so weit. Okay, ich fange einfach mal an. Ja, Smart-Mirrors, ganz tolle Idee. Ich bin mir auch sicher schon in Entwicklung, denn im Endeffekt ist ja das, was wir auf dem iPad gesehen haben, genau dasselbe. Hier wird nur kein eigenes Spiegel produziert, sondern es wird dann in diese App gegossen. Aber im Endeffekt dann, das in den Spiegel zu packen, ist sicherlich möglich. Da bin ich mir auch relativ sicher, dass das Ganze irgendwann kommen wird. Das große Problem ist, das, was du angesprochen hast, ist halt die Bewegung. Man kann natürlich versuchen, wie du gesagt hast, mit dem Handy, dass wir aus dem Handy quasi die Bewegung rausrechnen. Aber das ist durchaus möglich. Das Problem bleibt halt einmal die Bewegung der Kamera des Handys. Das kann man dann sicherlich rausrechnen. Aber das andere, was sehr schwer vorher zu sagen ist, ist die Bewegung der Person. Und das macht es natürlich schwierig. Um diese Bewegungsartifakte herauszurechnen. Oder man versucht einfach aus dem Video an sich die Bewegung rauszurechnen. Also moderne Algorithmen, die zum Beispiel den Puls berechnen wollen, machen das auch so. Da geht es dann darum, man kann ja das Gesicht tracken, das haben wir gezeigt mit diesem Viola Jones Algorithmus. Und dass man quasi nicht das ganze Gesicht nimmt, sondern dann einfach das Gesicht immer verfolgt und dann nur die Haut detektiert. Das heißt, man kann sich vorstellen, wenn ich jetzt gerade gucke, dann könnte man sagen, okay, wir sehen die Stierungen, wir sehen die Stierungen. Und wenn ich dann zur Seite drehe, bleibt ja nur noch quasi meine rechte Seite, dass man dann nur noch da misst. Also da gehen aktuelle Algorithmen hin. Und wir haben im Anhang eine kleine Literaturliste noch dabei. Wir werden euch die Folien auch zur Verfügung stellen. Und wenn man sich da einfach mal nur durch die Paper klickt, ohne die jetzt groß zu lesen, dann sieht man schon an den Visualisierungen, oft wo der Trend hingeht. Und Bewegungen ist vielleicht noch, würde ich jetzt mal vorher sagen, ein paar Jahre, ein, zwei Jahren Problem, und dann ist es, dass man sich da immer noch redigt. Also selbst in niedrig beleuchteten Räumen mit Personen, die hin und her tanzen, dabei reden, lässt sich das oft schon sehr gut messen. Das heißt, das ist eine reine Zeitfrage, bis Algorithmen da sind, die das einfach abfehlen können. Ich hoffe, das waren jetzt alle Fragen, oder war da noch eine? Okay, okay. Gut, gerne noch mehr. Und gerne auch, deswegen sind wir hier, falls ihr eine verrückte Idee habt, in seinem Projekt irgendwas zu machen damit. Wenn ein Spieler ist oder wohl gerade der Spieler seinen Puls hat, so was sind vielleicht interessanter Entwendungen oder so interaktive Displays. Wir haben das in Wien gesehen. Da ist es so, nur noch mal kurz, was da passiert. Man sieht da eine Person rumlaufen. Und dann kommt die Frage, ich glaube, warum ist mein Handyvertrag so teuer oder so, und dann müssen die Personen vor dem Display so alle machen. Und dann wird das halt erkannt, und dann macht auch so eine Figur da drin so, und dann wird halt die glorreiche Lösung gebracht. Ja, du musst zu dem und dem Anbieter gehen. Da hinten ist eine Frage. Ja, nur kurz zur Kinect. Da gibt es ja jetzt diese neue Kinect. Ich habe nur das Video dazu gesehen. Die machen auch schon so was mit Herzfrequenz, Messung. Wisst ihr da was drüber? Was da die, warum sie das machen und wofür? Oder wie es da funktioniert? Da muss ich ehrlich gesagt leider passen. Aber ich glaube, wir haben ja den Kinect-Experten hier. Vielleicht weiß er darüber mehr. Die Frage ist halt immer, ob es eine konkrete Anwendung ist oder ob es im SDK steckt. Wir haben uns jetzt nur die Sachen angeguckt, die wirklich im SDK sind. Ich bin mir sicher, dass viele Bastler schon zu Hause sitzen und da irgendwas versuchen, rauszuholen. Ich hoffe, jetzt habe ich hier niemanden verunglimpft. Also ich habe die Kinect 2 dabei. Wir können uns mal angucken. Das habe ich wahrgenommen, dass es das gibt. Aber ich habe es noch nicht selber ausprobiert. Also die Kinect hat ja auch verschiedene Sensor und sozusagen, um zu messen. Und es geht halt prinzipiell auch, man kann auch eine ganz normale schwarz-weiß Kamera nehmen und das trotzdem berechnen. Das heißt, im Endeffekt ist die Situation der Lage. Aber was da jetzt implementiert ist, kann ich leider nicht sagen. Ich habe gerne noch mehr Fragen oder Ideen. Falls irgendeiner nur sich gerade gedacht hat, Mensch, wieso macht das und das sind niemanden, darauf hoffen wir immer. Wenn es gerade keine weiteren Fragen gibt, dann würde ich einfach mal sagen, noch mal dickes Danke für den Vortrag. Ich denke, da war einiges Neues für viele dabei.