 Der nächste Sprecher ist Jean-Micaëlle Celerier und seine Hobbys und seine Leidenschaften sind Kunst, Musik und Computer. Und er kombiniert die in seiner Doktorarbeit und auch in interaktiven Medien. Und jetzt ist er ein unabhängiger Forscher und hat mit Ossia I.O. Hat er eine Non-Profit-Organisation und ist einer der Entwickler von Ossia, die Open Software Software für interaktive Applikationen und will einige Ergebnisse seiner Forschung der Öffentlichkeit und interaktiven Künstlern bekannt machen. Hier zeigt er uns, wie interaktive Medien so viel mehr sein können und welchen, zum Beispiel kann man unterschiedliche Enden von einem Film auswählen. Und ein herzliches Willkommen für Jean-Micaëlle Celerier. Okay, danke, das war die beste Vorstellung, die ich hier mal hatte. Vielen Dank, hallo Freunde. Und ich zeige euch hauptsächlich, wenn diese eine Präsentation von Ossias Core, das ist eine offene Software im Ossia Projekt und ist ungefähr zehn Jahre arbeiten wir jetzt daran. Und das ist ein freies Software Sequencer, der verschiedene Medien kombinieren kann, interaktive Medien zum Beispiel Ton oder Kontrolle über Geräte und was man vielleicht nicht unbedingt erwartet, dass das Teil von einer interaktiven Kunst wäre. Ich zeige mal gerade meinen Bildschirm. So, am Anfang erklär ich mal kurz, wie das alles ist, wie das aussieht, vielleicht 20 Minuten und dann versuche ich mal einige Zähnen direkt vom Scratch zu bauen, ganz neu, wie diese Software funktioniert und dann können wir vielleicht diskutieren und Fragen stellen und hoffentlich kann ich dann einige Fragen beantworten. Dieses Software ist ein Sequencer. Und das heißt, wenn Leute von euch Musik machen, dann kennt ihr das vielleicht und man kann hier einfach ein Ton hier reintun und kann es abspielen und dann wird es gespielt, nicht ein Soundfile reinwerfen. Und das ist das Einfachste, was man hier machen kann, aber was weniger üblich ist in Standardprogrammen, ist die Möglichkeit nicht nur Ton, sondern auch Videoinhalte, zum Beispiel hier. Das heißt, ich kann zum Beispiel auch hier ein Videoeffekt nehmen. Zum Beispiel hier, wir spielen das zum Beispiel und zur gleichen Zeit abspielen wie den Sound. Natürlich, mit verschiedenen Kontrollmöglichkeiten gibt es hier im System, das ist die grundlegende Funktionalität hier von, die Grundidee und jetzt versuche ich mal etwas zu bauen. Als erstes nehme ich Sound und erst mal, wenn man Score benutzt, das Programm, wenn man und ihr könnt vielleicht auch probieren, das zu Hause mitzuverfolgen und dieselben Schritte auszuführen, wie ich hier bei der Präsentation. Und Ossia.io ist das und da kann man vielleicht es einfach mitmachen und ausprobieren, selbst ausprobieren, probieren. Und das Erste, was man vielleicht machen will, ist, erst zu definieren, was man in dieser interaktiven Performance machen will. Zum Beispiel habe ich hier einen Joystick, ich habe ein Keyboard, ich habe ein kleines Ding hier. Das heißt, es ist eine kleine Kamera für Handgästen und die kann man alle benutzen hier, als Teil von der Aufführung, von der Performance und ich tue den hier dazu, meinen Bewegungssensor für die Hand und da kann man sehen, dass hier hier eine Zahl verändern und das ist die Position von meiner Hand zum Beispiel. Und hier, das will ich auch benutzen und hier will ich auch meinen Keyboard benutzen und einige Parameter hier und ich versuche die Parameter einzustellen, die ich für das Intro benutzen will. So, und das gibt mir eine ganze Menge von Sachen, die ich benutzen kann, um Sound Effects zu produzieren und was will ich noch benutzen? Den Joystick will ich auch benutzen. Okay, und das ist im Wesentlichen, das ist das Rohmaterial hier für die Interaktivität von diesem Pro. Jetzt habe ich hier einen tollen Effekt hier. Wunderbar. So, wo waren wir? So, ich muss Linux benutzen und aber man kann es auch auf anderen Systemen benutzen. Mac und Windows geht auch vor allem in Windows, haben Leute es auch auf dem Raspberry Pi ausprobiert und zu Grund auf verschiedenen Embedded Systemen und da gibt es auch sehr blitzliche Sachen, sinnvolle Sachen, die man machen kann und jetzt mache ich hier einfach eine ganz einfache Linie, die sich mit der Zeit verändert. Hier haben wir all die Sachen, die man benutzen kann, wir nennen die Prozesse und es gibt Sachen, die man im Wesentlichen kann man Sachen auslösen zu verschiedenen Zeiten. Also, wenn ich hier einen Ton haben will, einen Geräusch und dann ist es etwas zu schnell noch. Das ist ganz einfach hier. Ein etwas einfaches, wenn ich jetzt, wenn ich das kontrollieren will mit einigen Effekten, mache ich vielleicht etwas Nachhall dazu oder vielleicht etwas Bitcrushing. Okay. Jetzt gibt es, es läuft hier etwas und jetzt, was ist, wenn ich das jetzt, diesen Parameter zum Beispiel mit meinem Joystick kontrollieren möchte, dann kann ich einfach hier den, ich habe meine Joystick-Achse hier und wenn ich so wie hier rotiere, dann verbinde ich das hier. Okay. Dann möchte ich auch Effekte darauf anwenden auf den anderen Parametern. Nehmen wir mal an, dass hier, okay, und dieses gibt uns eine ziemlich einfache, eine Basis für unsere Arbeit. Was ich jetzt möchte, ist, ich möchte etwas größeres bauen als das. Also, fange ich jetzt einfach an, indem ich hinzufüge, das ansonsten wird das hier zu schnell zu langweilig. Also, an jedem Punkt kann hier, kann ich einfach das hier abspielen. Und wenn ich das jetzt mache, dann wird es nur einmal, wenn nur einmal abspielen, was ich also möchte ist, das, was ich also, und ich bekomme hier so, okay. Also, jetzt will ich, also, ich möchte jetzt also auch mit Live-Instrumenten spielen. Also, also, füge ich jetzt, füge ich jetzt eine Live-Bass-Gitarre dazu. Also, was ich jetzt also machen muss, ist, ein Audio-Device hinzuzügen. Also, ich weiß, dass das jetzt mein Bass-Gitarre ist, und ich weiß, dass es hier intern auf 1,2 liegt. Also, so. Und ich füge eine, ich werde das Ganze hier, das heißt, dass ich entsprechend ein Loop hier legen kann, und ich fange an, ich starte meinen Loop jetzt, sobald ich soweit bin. Und einen ganzen Takt, und, und wir starten mit einem sehr niedrigen, mit einer sehr niedrigen Lautstärke, so etwa. Okay. Und jetzt, jetzt, es wartet jetzt also, bis ich hier anfange, ich bin dumm, ich habe das hier vergessen. Okay. Okay. Und jetzt, können wir anfangen, ein paar Effekte dran zu hängen. Okay. Und jetzt können wir versuchen, ich habe einen Teil von, ich habe hier ein paar Muster, das möchte ich jetzt hinzufügen. Also, es ist ein sehr einfaches Muster, und ich füge jetzt noch ein bisschen Scatter dazu. Okay. Ich möchte das Ganze mit dem Sound koppeln. Ein ziemlich einfachen Beat hier. Okay. Also, ich möchte jetzt etwas ganz einfaches hier machen. Ich muss das jetzt auf die richtige Tonhöhe drehen. Die, den Riechler hier. Und noch ein paar Verbindungen hier. Verbindungen oder Röhren, Pipes. Also, okay. Also, ich möchte also, ich möchte also ein paar Soundeffekte hier von Hand erinnern. Also, mit meinem Leap hier. Also, werde ich jetzt von hier füge ich jetzt einige Effekte ein, und ja, werde die Effekt jetzt hier mit verbinden, wie zum Beispiel den hier. Okay. Jetzt, jetzt kann ich also einfach hier diese Leap Motion nehmen und hier mit dieser Einstellung verbinden und damit den Effekt beeinflussen. Ich kann auch anfangen hier Sachen zu machen, die von der Hardware abhängen und kann ich mit der Hardware das, dieses Thema beeinflussen. Und das ist das erste Beispiel und zweitenschnelles Beispiel. Einige von euch haben vielleicht bemerkt, dieses musikalische Thema erkannt. Ich wollte sagen, das ist von Robert Prince aus den 1990ern. Wir lassen das hier mal und dieser Teil wird nie gespielt und braucht deswegen auch keine CPU. Und was ich jetzt machen will, ist nicht nur den Bass als Input verwenden als Eingangs, sondern auch noch etwas anderes, nämlich wie das hier. Ich nenne das mal so Game und es benutzt meine 3 und 4 Eingänge Eingänge Nummer 3 und 4 und ein neues Szenario. Das heißt, jetzt machen wir die Signalarbeit hier auf dieser freien Fläche und was wir wollen, ist ein Video-Eingang. Das heißt, ich muss hier einige Skripte starten. Ich z.B. lease hier. Und dies. Uh oh. Schauen wir mal. Das geht von hier nach hier. Und Effekte dieses. Wir wollen nicht nur Audio benutzen, sondern auch Video. Das heißt, wir fügen noch ein Video-Eingang dazu zu dem System. Genau hier, was ich machen kann, ist ich kann sagen, okay, sobald es losgeht, will ich, dass der Video-Input auch startet. Dann füge ich noch ein Effekt hinzu und sage Spiel Game. So, ich will noch ein Filter hinzufügen. Hier kann man Trigger benutzen. Hier kann ich das starten. Wenn ich das jetzt habe, was man machen kann, ist, man kann andere Sachen noch. Hier gibt es, so jetzt kann man mit der Hand auch das verändern. Und während das Video auch abspielt, wenn ich das noch verändern hier, dann kann ich vielleicht die Lautstärke ändern. Und jetzt kann ich noch Effekte hinzufügen. Und wenn ich will, ich will die Audio-Eingänge benutzen und damit etwas im Video kontrollieren. Und ich kann auch einige Toneffekte hinzufügen. Und wie man sieht, wenn ich eine Kontrolle hinzufüge. Das heißt, im Wesentlichen ist Score ein Programm, um alle die Sachen zu kombinieren. Alle Mediensysteme und das kann sich über die Zeit ändern. Und man kann eine Art Live-Kreation machen und kann es mit Score im Wesentlichen machen. Und das ist erstmal die Grundidee davon. Und wenn es jetzt Fragen gibt, dann kann ich jetzt auch gern Fragen beantworten. Also vielen Dank für diese interessante Show. Und die Dinge, die man mit Ossian machen kann. Oder was Score machen kann. Wir können jetzt hier im ERC eine Frage stellen. Dass diese Präsentation im Wesentlichen Audio und Video ist, weil es hier eine Online-Konferenz ist. Wenn ich das richtig verstehe, dann kann Ossian viel mehr kontrollieren. Im Wesentlichen haben wir hier diese Abstraktion und es gibt alle diese verschiedene Protokolle hier. Und es sind diverse Netzwerkprotokolle. Und in der Mediasysteme, wie z.B. Das ist okay. Man kann z.B. verschiedene Programme, verschiedene Score-Version miteinander kommunizieren. Es gibt auch andere Audio oder die gleichen. Es gibt entsprechende Module für Joysticks, für Fernbedienungen, für Lieb- und dergleichen. Wir haben auch direkt Verbindung zu Ardivinius und dergleichen. Ihr könnt also praktisch, also ihr könnt also einfach Botschaften mit Ardivino austauschen. Und dazu Brücken. Das ist sehr hilfreich, wenn man Dinge wie genetische Installationen hat und wir gucken nach ihm noch mehr Protokollen, z.B. IoT Protokolls, MQTT und dergleichen. Weil die Leute auch ihr Haus damit kontrollieren wollen und dergleichen. Also MQTT haben wir entsprechend auch. Das ist ein offenes System und sobald wir von irgendwas nützlichem hören, versuchen wir das ja einzubauen und als Möglichkeit Dinge zu kontrollieren. Es gibt auch einen Score für Licht und DMX z.B. digitales Licht. Hier könnt ihr z.B. automatisieren hier wenn ihr z.B. auch ein Beamer hat, könnt ihr dann auch DMX schicken für Kunstvorführung und dergleichen und Installationen. Und können Es ist, könnte man sagen, dass es ein OSJ-Skorsonat, OBS-Studio auf Steroiden ist. Für mich ist es, also ich nutze es ja ziemlich viel und z.B. wenn OSJ kann man z.B. also OBS hat diese Web-Socket-Ports auf den OSJ zu kontrollieren und OSJ kann sich dann natürlich verbinden und es gibt Streaming-Capabilities zwar schon nach Twits und für mich macht es erheblich mehr Sinn mit Score OBS zu steuern und OBS das tun zu lassen was OBS abbesten kann und mehr ein Controller oder ein Asset wenn man den OBS kontrollieren kann. Das ist also das, zumindest wie ich es mache, aber wir beiden anderen mögen das anders machen. Eine andere Frage, mehr auf dem Musikpart bezogen kannst du auch, kann man auch kannst du auch klassische Musik, also Noten einlesen, in Klassen oder denkst du das macht es Sinn das ich habe leider keine klassische Musikausbildung und ich bedauere das auch aber vor OSJ ist es also um Musik zu importieren Noten zu importieren ist es nicht nötig, die klassisch man kann z.B. einfach MIDI-Files hier einlesen oder wo habe ich es hier also okay, allerdings bitte hier keine copyrightgeschützten Musik spielen, sonst kriegen wir Take-Done-Touch-Notices also also es gibt das nicht direkt, aber es gibt ein entsprechendes Projekt hier mal gucken ob ich es gerade finde es ist ein Open Source System um Noten zu rendern und es gibt schon länger die Bitte das als Library einzubringen damit war hier praktisch, damit war Noteneingabe auch auf die Art und Weise hier darstellen können selbst kann das nicht, also ich selbst nehme hier nur diese einfachen MIDI-Files zum Beispiel arbeiten wir ziemlich viel mit mit Komponisten aus mit Komponisten, also mit nicht klassischen Komponisten nicht klassischer Musik und zeitgenössischer Musik konkret und dergleichen die Partitionen dabei sind dem Schreibsystem für kontemporäre Musik, zeitgenössische Musik sprechen etwas anders es ist also eine andere Art und Weise Noten darzustellen und das war ziemlich leicht zu integrieren hier ich habe das also im Projekt dieses Jahr genutzt und vermutlich würde es auch Sinn machen ein gleiches Darstellungssystem für die klassische Musik darstellung und das wäre also schön wenn das jemand macht also wenn es gerade um Soundtracks um Noten zu geben könnte man das Ganze für ein ganzes Musikstück machen für mich, also das ist das was ich früher in meiner probitären Zeit gemacht habe und ich möchte wirklich den Punkt erreichen wo man das Praxis in Score auch machen kann vielleicht nicht genau so wie es in anderen Programmen ist aber in so einem bestimmten Zeitpunkt möchte dann in der Lage sein für einen praktisch kompletten Song damit zu machen was da für fehlt für mich ist ein Mix Interface, ein User Interface zum Abmischen und so die Idee von Tracks und also die das ist generell da, aber bei Score ist es eben noch nicht da und neu und das wird da fehlen und man kann also hier im Praxis nur hier ganz einfach die Lautstärke verstellen aber was hier uns auch fehlt ist die Möglichkeit zur Aufzeichnung also zum Beispiel nicht so einfach ein Audio, damit die aufnehmen und das ist der Praxis die letzte Grenze für das Ganze aber wenn der zum Beispiel das City oder dergleichen zuerst nicht dazu verwendet zum Aufnahme, dann können wir so was machen das ist bis jetzt mit Score allein noch nicht möglich okay, vielleicht um den Zuschauern mal zu zeigen was alles gemacht werden kann kann ich vielleicht mal zeigen, eine Galerie auf unserer Webseite und die zeigt verschiedene Stücke zum Beispiel gibt es modulare Stücke und Live Aufführungen im Internet zum Beispiel und es gab Museumsinstallationen und auch Bühnenstücke, so etwas in der Art alle möglichen verschiedenen Sachen das ist nicht nur ein einzelnes Lied oder so es sind oft musikalische Elemente enthalten aber ich glaube nicht, dass jemand doch, es gibt jemanden hier das ist nur ein Klavierstück, was nur in Score komponiert wurde, das gibt es auch Score benutzt eine Graph Editing das ist einfach anzufangen aber verlierst du dich manchmal in komplizierten Grafen und Diagrammen ja, das ist eine gute Frage und wenn man zum Beispiel daran gewohnt ist einen normalen Programm benutzt aber wenn man zum Beispiel hier diese Diagramme hat, aber was man sieht zum Beispiel, dass die Diagramme an dir man hat viel größer als sonst und man hat hier Geräte und alles andere, man hat aber zum Beispiel nicht, dass einfach nur eine Multiplikation macht oder so, sondern es gibt immer High-Level-Komponenten die ganz viele verschiedene Sachen machen und ich glaube, die sind für Komponisten besser benutzbar und wenn man auf die unterste Ebene will, ganz weit runter will zum Beispiel diese Werte sehen will, dann hat man ein Data ein Datenpatch hier und dann kann man das auch sehen und das hier ist einfach nur weißes Rauschen zum Beispiel und am anderen Ende des Spektrums gibt es zum Beispiel auch hier gibt es einen Skript zum Beispiel man kann hier etwas ein Skript machen, was Dinge erzeugt und wenn man wirklich die Motivation hat ich weiß nicht, ob ich da jetzt was hab man kann C++ auch benutzen und es gab auch mal in den letzten zwei Monaten habe ich viele Anfragen bekommen, auch einen Schemendialect einzubauen, das ist auch schon auf meiner Agenda das zu machen und zum Beispiel ein embedded Lisp hier zu haben und ich bin selbst kein Lisp Mensch eigentlich, aber ich denke an den XKCD Comic heute die Lisp dass das Universum nur aus solchen Ausdrücken gemacht wird und ich bin eigentlich nicht objektorientiert, aber vielleicht kann man doch Lisp irgendwie mit integrieren und andere Sprachen, die man verwenden will eine andere Frage ist noch, kann man OSSEA benutzen nur für Video und das zum Beispiel mit Ableton synchronisieren oder für eine Musikaufführung ja, das geht auf jeden Fall, zum Beispiel wenn man Synchronisation will auf Linux bisher nur auf Linux und dann kann man sagen also wir haben hier in Score muss das sagen, dass jemand der Master sein soll zum Beispiel gibt es einige möglichen Möglichkeiten zum Beispiel wenn man ein Video wiedergeben will dann macht man es einfach wir hatten mal einen Fall, wir wollten Score benutzen wir haben verschiedene Protokolle für die Synchronisierung von Videos und von Sadat Morial entwickelt das hier wir haben Support und können Videos verschicken und in Frankreich haben wir gearbeitet an einer öffentlichen Unterstützung gearbeitet zum Beispiel ein Netzwerk von Kunstwerken zu machen und jetzt mit Covid braucht man natürlich solche Vernetzung es gab auch dann Forschung in den Protokollen, die wir benutzen wollten zum Datenaustausch und es sollte irgendwann mal relativ einfach möglich sein wenn man einen Ton erzeugen will an einer Stelle in Score es ist theoretisch möglich aber ich habe es noch nicht wirklich viel gemacht aber ich weiß, dass es Leute gibt hier auf dieser Webseite die Score und Licht benutzen es gibt noch eine Bemerkung aus dem Chat die Frage aber sagt, dass die Integration ist die Antwort, das heißt wenn es alle diese Protokolle nimmt, die Ostia unterstützt und Media alleine kann schon viele Sachen synchronisieren ja, Media hat nur diese geringe Auflösung aber ja, zuerst in der ersten Version hatte Score noch nicht mal Audio für andere Software aber irgendwann haben wir dann, weil viele das Leute und ich will zum Beispiel nur einen 5 Sekunden Sound abspielen und ich brauche nicht einen externen Soundplayer und dann haben Leute dasselbe für Videos gesagt und für einfache Sachen kann man jetzt ganz vielen Score selbst machen und wenn man ein super komplexes Video Audio Workflow hat dann ist das Video für live und mit vielen und dann kann man es natürlich benutzen aber die Software ist erstmal ein Controller, der andere Software kontrolliert und das ist das Original Grund, der ursprüngliche Grund