 Ein warmes Willkommen für Julian Vogels und eine Runde Applaus. Ich meine, die Nummer ist 8011, nicht 8012. Da könnt ihr uns dann hören. Hallo, ich freue mich sehr, hier zu sein. Vielleicht sogar ein bisschen zu aufgeregt. Also, müsst ihr mich schon aushalten. Ich erzähle euch fast über die Evolution und das Design von digitalen Musikinstrumenten. Das will ich nicht total technisch machen. Aber ich möchte ein paar Maker inspirieren, da vielleicht mitzumachen. Also, ich bin Julian. Ich komme aus Süddeutschland. Ich habe in Montreal studiert. Und ich laufe gerade eine kleine Musik-Startup-Firma. So, wo kommen die im Eis? Digitale Musik ist so hinterher. Ich habe eigentlich eine sehr lange Geschichte. Trotzdem, was du in der Denken mögst. Und die klassischen Instrumenten, die wir kennen, sind sehr alt. Das ist sehr raffiniert und sehr gute Instrumente. Aber am Anfang des 20. Jahrhunderts haben Menschen halt neue Technologien entdeckt und wollten das halt benutzen und damit Musik zu machen. Und schon 1897 wurde das Telharmonium erfunden. Das ist so ein bisschen wie ein riesiges Orgel. Wo es darum geht, es gab kein Radio. Es ging also ein bisschen darum, die Klang in die Heime der Leute zu verbreiten. Und das war ein riesiges Kabelgerät. Das wog mehr als zu einer Tonne. Was kannst du da entweder mögen? Zum Beispiel haben wir den ersten Open-Air-Controller. Die Terevine von Left Tabin. Soundproblems. Jetzt kannst du die Terevine hören, aber nicht mehr den Vortragenden. 1928 hat Bundesmartino das Uni Martino erfunden hat. Mit sehr einzigartigen Controls. Sehr schöne Tremolo-Effekte. Sehr einfache Dynamik-Kontrolle. Es ist wieder sehr laut. Diese frühen Musik-Summente waren nicht so richtig anerkannt in der Gesellschaft, weil die sehr futuristisch waren. Das Trotonium. Der Vorgänger des Intercisers. Es ist so ein gerister Kabel zum Spielen. Was wieder sehr laut ist. Und später die Hammond-Orgel. Es ist so richtig ein elektronisches Instrument. Es ist mehr elektromechanisch. Aber es ist trotzdem sehr wichtig. Und deshalb wollte ich es zeigen. Wir haben das elektronische Sack-Boot. Das erste Instrument. Das ist mit wolltkontrollierten Synthesizer. Wo du aktive Kontrolle hattest. Dann begangen an neue Zeit. Computer Musik. 57 am Max Matthews. Er hat das Telefon-Netzwerk benutzt. Um den ersten Computer-Programm für Klang zu schaffen. Gleichzeitig hat das Mark II von ACA veröffentlicht. Oder erfunden. Es klingt ungefähr so. Sehr populär. Der Mug und der Minimug. Die ein großer, kommerzieller Erfolg waren. Und dann eine neue Zeit. Wo alles digital wurde. Die Fairlight. Ein digitaler Synthesizer. Wie die wurde erfunden. Spezifiziert als Spezifizierung. Jetzt könnt ihr Synthesizers miteinander verbinden. Das ist sehr wichtig. Weil jetzt das Interface vom Sound getrennt wurde. Es werden nur noch Kontrollsignale geschickt. Was sehr wichtig ist. 1980 wurde auch das erste populäre, unkonventionelle Kontrollinstrument erfunden. Weg von dem ganzen Keyboard-Teil. Gleichzeitig sehr viele Forschungsprojekte. In verschiedenen Orten. CMI klingt irgendwie so. Und dann immer noch in den 80ern. Natürlich, wie ihr all wisst. Dieser Klang. Neue Generation von Synthesizers. Die immer noch sehr populär benutzt werden bis heute. Popmusik. Eine der Ecksteine davon war die DX7 von Yamaha. Die FM digital Synthesis benutzt hat. In den 80ern hat Miller Proket Max erfunden. Bis heute immer noch die wichtigste oder eine der wichtigsten Computer-Musik-Software. Für Kompositionen und Synthesierungen und so was. Und dann werden Steuerelemente immer weniger konventionell, immer unkonventioneller. Also Max Matthews, der auch im Media erfunden hat, hat den Radio-Baton, also Radio-Stab erfunden. Das sind also weiterentwickelte Sensoren. Zum Beispiel gibt es Lightning, was mit Infrarot-Technik funktionierte. Und im Jahr 2002 gab es die erste Neim-Konferenz, New Interfaces for Musical Expressions. Neue Schnittstellen für musikalischen Ausdruck. Und zwischen 2002 und 2008 wurden 266 neuartige Musikinstrumente vorgestellt. Ich habe keine Daten für diesen Abschnitt bis heute. Aber man kann sehen, wie viele Erfindungen es gibt und wie beliebt dieses Feld wurde. In der Zukunft, glaube ich, wird es eine wachsende Zahl von Neuerfindungen geben und neuen Instrumenten. Weil wir besser zugängliche Sensoren haben und Materialien. Und auch, ich denke, die Community, die Gemeinschaft der Musiker, die Musiker nimmt, die eher konservativ bisher waren, öffnen sich allmählich, man sieht mehr und mehr, dass neue Instrumente gespielt werden von Musikerinnen und Musikern. Aber zur gleichen Zeit, man muss sagen, es gibt viele Muster, die wiederholt werden. Es gibt so viele Erfindungen, aber diese sind leider nicht wirklich bekannt. Sie werden nicht kommerziell erfolgreich, sie haben keinen öffentlichen Erfolg. Und das ist auch, warum ich diesen Vortrag halte. Ich möchte inspirieren, dass diese Erfindungen nicht in der Garage bleiben sollten. Gut, nun zum Entwurf zum Design. DMI, digitale Musikinstrument, das bestehen aus drei Teilen. Es gibt die Schnittstelle, mit denen man mit dem Instrument interagiert. Es ist wirklich wichtig, dass die Schnittstelle getrennt ist von der Klangquelle. Die Klangquelle ist in der Regel ein Computer. Und die Übertragung, die Abbildung der Eingabe auf die Ausgabe ist vorhanden. Das ist der Computer. Das ist also ziemlich aufregend, denn digitale Musikinstrumente sind jetzt flexibel. Sie können angepasst werden, sind völlig offen. Man kann machen, was auch immer anklingen, man erzeugen möchte. Man kann Steuerelemente sehr weit verändern. Nicht unbedingt physische Objekte der alten Art. Man kann so ganz neue, schnelle musikalische Ausdrücke finden. Meine persönliche Forschungsarbeit ist mehr auf der Seite der digitalen Steuerungselemente, Eingabe-Elemente. Ich denke, dass Controller-Eingabe-Elemente sehr interessant sind. Wir benutzen sie ständig. Zum Beispiel, hier benutzt ein Rassistatur, um zu tippen. Die ist dafür speziell entworfen worden. Hier ein Gamepad. Er benutzt manchmal auch eine Tastatur fürs Spielen oder Missverschreiben auf eurer Konsole. Der Entwurf muss zum Zweck passen. Es gibt verschiedene Arten von Eingabe-Elementen, was ich sehr interessant finde. Ich versuche das mal so zu klassifizieren. Wir haben also erweiterte Musikinstrumente. Instrumentähnliche, Instrumentinspirierte und alternative Eingabe-Elemente. Zum Beispiel hier angepasste Musikinstrumente, die einfach mit einem Haufen von Sensoren erweitert werden. Knappfe oder hier ist eine angepasste Posaune. Andere Dinge werden zum Klang erzeugt und parallel zum Output des Instrumentstaaten erlaufen. Dann gibt es Instrumentähnliche Eingabe-Elemente, die die Gäst-Gesten eines Musikers, einer Musikerin, emulieren möchten. Stellt euch vor, jemand spielt Trompete, bekommt dieses Instrument in die Hand und kann es sofort benutzen, obwohl der Klang ganz anders ist. Dann gibt es Instrumenten, inspirierte Eingabe-Elemente, Steuer-Elemente, die entfernen sich etwas weiter von den Instrumentähnlichen Eingaben. Es können immer gleich Gästen benutzt werden, aber es ist schon anders. Hier haben wir zum Beispiel eine Tastatur, die sehr wobbly ist. Hier kann man zum Beispiel die Klanghöhe durch Slight-Bewegungen verändern. Es gibt die Eigen-Harp oben rechts und Instrument One, ein neues Instrument. Alternative Eingabe-Elemente haben überhaupt nichts mit klassischen Musiker-Elementen zu tun. Zum Beispiel gibt es die Audio-Cubes, die Audio-Würfel. Die Würfel sind, die sich über ihre gegenseitige Position bewusst sind. Es ist also kein kommissionelles Musikinstrument, mehr eine Art sequenzielle Kontrolle von irgendetwas für ambiente Instrumente. Dann zum Beispiel hier Perry Crook, ein berühmter Instrumenten-Macher, er benutzt Alltagsobjekte, eine Tasse, ein Schuh. Weil er sagt, dass Menschen sofort eine Beziehung dazu aufnehmen können, sie nehmen das in die Hand und wissen sofort, wie sie es halten. Sehr viel schneller, als wenn es irgendein willkürliches, künstliches Objekt wäre. Dann gibt es auch die Alpha-Sphäre, auch eine interessante Form. Oder ein Grafik-Tablett, was ich auch mag, als Beispiel. Das hat wirklich sehr genaue Sensoren und ist außerdem ein Alltagsobjekt. Jeder weiß, wie er oder sie einen Stift benutzt. Und dann gibt es auch Teil der alternativen Eingabe-Elemente, die sind kollaborative Eingabe. Hier gibt es also eine Tuba, die von zwei Menschen gleichzeitig gespielt wird. Und dann gibt es diesen Tisch hier, das ist ein tastbares Interface, das dann auf diesen Tisch projiziert wird, von unten. Und der Tisch kann rotieren, kann Positionen verändern und kann auch Musik machen. Und dann gibt es Körper-Eingabe-Elemente, die sehr beliebt sind. Ihr folgt dann einfach euren Körper beliebige Gesten einsetzen, alle möglichen Daten erfassen über Hand- und Körperbewegungen. Zum Beispiel Michelle Weiswied, das heißt The Hands, ein sehr berühmtes Instrument. Also hier diese Handschuhe in der Mitte, Onyx Ashanti mit Beaches und Marco Donnarama, der Bio-Signale verwendet von seinen Armen, die direkt in Musik umgesetzt werden. Außerdem Open-Air-Eingabe-Elemente, das heißt es gibt keinerlei Feedback, die Hände haben keine Sensoren, es geht immer um Computer-Abbildungen. Und dafür in der Zukunft wird es sicherlich klar, es wird sicherlich klar, damit in welche Richtung in der Zukunft eingeschlagen wird, es geht um erweiterte Realität, virtuelle Realität. Okay, nun zu dem Interface, zu der Schnittstelle. Wie wird so etwas entworfen, wie fängt man an? Für mich ist das, was ich gerne tun möchte, ist über Gesten nachdenken. Wie bewegt sich eine Musikerin? Was kann man sich vorstellen? Was passt gut zur Dynamik, zur Lautstärke, zur Tonhöhe? Ist es eine diskrete Tonhöhe oder eine gleitende Tonhöhe? Oder ist es ein Scharfer oder eher weicherer Sound? Um eine Idee zu bekommen, was möglich ist, fängt man zunächst an, in dem Musikerinnen beobachtet werden. Wie sie spielen, denn das ist der Ausgangspunkt. Es gibt eine Menge interessante Gesten in allen Musikinstrumenten. Für mich zum Beispiel ist es so, dass ich Gesten von Muntamonikerspielerinnen studiert habe. Es gibt interessante Gesten, wie zum Beispiel diese geschlossene Hand. Es gibt auch verschiedene Winkel, die mit den Fingern angenommen werden. Ich habe Bewegungsstudien durchgeführt und bekam dadurch eine Menge numerische Daten, optische Art, Skelett- und Bewegungserfassungen. Aber das ist sehr, sehr teuer und dass diese Geräte finden, wenn nur in Forschungseinrichtungen. Was also besser wäre für einen Dirt-Yourself-Hersteller, ist Open Source Software verwenden, zum Beispiel Elan, und Gesten erfassen und einfach anotieren. Also zum Beispiel große Aufwärtsbewegungen. Man erfasst diese Dinge, erfasst Anotationen, analysiert gleichzeitig Klänge als verschiedene Eigenschaften, erfasst verschiedene Eigenschaften von Sound. Sonic Visualizer, zum Beispiel, was ich nicht hier auf der Folie habe, eine großartige Software. Und dann vergleicht man, welche Gesten hängen zusammen mit welchen Klangeigenschaften, welchen Änderungen. Viele Menschen lehnen sich zum Beispiel zurück, wenn sie höhere Töne spielen. Solche Dinge kann man verwenden und diese Gesten einsetzen. Anotationssoftware ist relativ klar. Wir haben verschiedene Videos zum Beispiel hier mit Labels. Die sind also bestimmte Spektrum-Daten auch. Und dann sieht man, was passiert, wenn man sich den Grafen anschaut, welche Eigenschaften des Klangs werden beeinflusst. Und dann kann man dadurch erfassen, welche Gesten man wofür einsetzen möchte. Das kann ich noch ausführen, aber ich möchte mich kurz fassen. Kannst verstehen, dass die Sensoren benutzen, die müssen halt nur passen dazu, was du machen willst. Zum Beispiel FSAs, Sliders, Knöpfe, Infrarot, Ultraschall. Alles Mögliche, wo du deine Hand hinbewegst oder so, also seid einfach kreativ. Und wenn ihr mehr über Sensoren wissen wollt, könnt ihr auch Sensor-Fusionen benutzen, um noch mehr Daten zu kriegen. Wenn ihr zum Beispiel zwei Sensoren habt und Sensor-Fusionen benutzt, dann könnt ihr mehr Informationen rauskriegen als von nur einem oder einem anderen. Also der zweite Teil ist der Mapping-Teil, also der Verknüpfungsteil. Wie untertät man ein gutes und zum Beispiel ein schlechtes Instrument. Ihr könnt sehr einfache Mapping machen, wie 1 zu 1. Das geht hoch, das geht runter, oder was auch immer. Aber stellt sich heraus, dass viele gute Musikinstrumente nicht so einfach sind. Weil klar, du verstehst das einfach, aber es ist einfach langweilig. Und es ist einfach nur irgendwie ein Spiel, zwar ist es, was du dann irgendwie das willst zu vermeiden. Du willst das bisschen komplexer machen. Du möchtest nämlich das Menschen, dieses Instrument mastern, also meistern können. Mapping ist gut um viele Musiker. Weil er fast viele Pharma-Meteuren steuert, viele Klangentzerkungsparameter. Genau. Ein Musiker möchte halt viel machen und auch viel auf einmal machen, um verschiedene Ergebnisse zu machen. Das ist zwischen ganzheitliche Nutzung des Instruments einfachießen lernen und nicht Pharameter lernen. Das ist einfach ganz andere Art, das ein Instrument zu benutzen. Drossante Mapping-Ideen sind, Maschinenlernen zu benutzen, Gesten zu klassifizieren. Kannst du irgendwelche Gesten aufnehmen, mit Sensoren, die du benutzt, oder Instrumenten, die das aufnehmen. Kannst du dann mit einem Klassifizierungsalgorithmus nutzen. Also 3 bis 4 Gesten und fragst, welches ist die nächste und verschlüpft das mit deiner Aktion. Kannst du es auch indirekte Daten benutzen, zum Beispiel, du hast zum Beispiel ein Slider, also ein Regler, kannst du sehen, wo ist der, kannst du auch noch etwas denken, kann ich die Geschwindigkeit. Wann jemanden benutzen, der diesen Regler bewegt und das zu einem anderen Synthesis Pharameter verknüpfen. Kannst du auch definierte Mapping-Spitzen, aber da musst du schon vorsichtig sein, das ist flexibler, aber dann verlierst du so wie schön das Gesicht des Instruments, weil das, dafür Design, wo du suchst zu klingen und so zu funktionieren und wenn du ganz zufällig machst, dann ist es halt zufällig. Hier haben wir ein paar coole Open Source Mapping-Werkzeuge, wie Lipmap, wo du das ganze Netzwerk machen kannst mit Open Sound Control. Da gibt es auch andere interessante Werkzeugkisten. Dann kannst du das ganze Gesten-Ding mit Aufnehmen und Classification machen. Und die Klangerstellung will ich nicht so viel darüber reden, da gibt es verschiedene Techniken, zum Beispiel Subjective, FM physisches Modellen herstellen. Das kannst du dann als Digital herstellen und da gibt es viele großartige Open Source Software, um das zu machen. Du musst halt auf Feedback. Wenn du eine Violin spielst, dann bewegst du sie und der ganze Körper bewegt sich. Das ist sehr wichtig, wenn du ein Instrument lernst. Die Operation auf dem Körper auswirken. Wenn du das wegnimmst, dann ist das viel harter, dass er viel harter ist, ein Instrument zu lernen. Wir brauchen ein Feedback vom Instrument. Das Problem mit digitalen Instrumenten ist, dass es nicht natürlicherweise geschieht. Das musst du mit dem Instrument verknüpfen, dass das Instrument ein bisschen Feedback zum Künstler gibt. Zum Beispiel Fiberieren oder irgendwelche haftischen Informationen, vielleicht auch sichtbar oder ein bestimmter Klang. Ich wollte ein bisschen die MECA-Community inspirieren, was zu bauen, das digitalen Instrument zu bauen. Das ist ein sehr spannendes Feld. Das ist komplex genug, das kannst du dein ganzes Leben verbringen. Und ihr habt sehr viele Tools. Das wird auch alles günstig gehören. Die Sensoren sind wirklich günstig. Das Instrument war in den 80ern sehr, sehr teuer, aber jetzt ist es echt machbar. Und jetzt habt ihr alle diese eingebetteten Systeme, Pi oder was so immer. Und könnt ihr jetzt den Synthesis benutzen auf einer Kreditkartengröße. Das ist wirklich großartig für die Leute, die das anderen mit so wenig für 30 Jahren gebaut haben. Und was sind dann die Probleme? Da sind ein paar, zum Beispiel auf der Neimkonferenz waren sehr viele Instrumente, die schon ähnlich klangen, weil die krassesten Interface hatten. Aber das ist eigentlich nur Kram, das mache ich noch düll. Da kann niemand es wirklich mitzusagen kommen, außer Neuesmusik. Und das ist in meinem Augen auch einfach eine Entschuldigung. Ich mache Neuesmusik, also ist mir der Sound egal. Macht diese Fehler nicht. Und mache sei nicht der Einzige, der sein Instrument meistern kann. Das habe ich früher auch gemacht. Ich habe Instrumente gebaut, versucht, gut damit zu sein, aber eigentlich hätte ich das zu Musikerinnen geben müssen und gleich viel mehr kriegen können. Und deshalb musst du das Setup auch einfach machen, die Anrichtungen. Wenn hier überkabelst, dann du mehr an der Merk hast an deinem Instrument bist. Also das coolste ist, dass du die Musikerinnen zu drehen gewöhnt. Es ist sehr wichtig, dass Musikerinnen mit der Publikum reden können. Also mit großen Gesten machen. Und das Publikum kann dann sehen, was das ist der Musiker. Musiker, wenn du einfach nur am Keyboard arbeitest, dann finden die Zuschauerinnen dann Performance einfach nicht interessant. Ein schönes Zitat, das ich bringen wollte, ist diese. Was ist? Wir sind Westel und Wright. Wir sind überregen wie das perfekte DMI aussehen würde. Es ist eine niedrige Eindrankschwille, das können alle nehmen und einfach damit anfangen. Das heißt, das ist aber keine Decke daran, wie sehr man das meistern kann, um perfekt damit zu werden. Wie auf dem Piano. Also, es sind einige meiner Eigenkreationen. Um links ist das FuelMid. Das ist eine Gummi Band. An einem Klangkörper mit einem Joystick umdrauf. Und dann kannst du das Ding Kabel, das ist ein Warr. Zupf, zupfen. Und dann wird der Klänge erscheinen. Und die Eurobox, das ist ein Device, die du benutzt. Und wie ein Kassettendeck benutzt. Und dann kannst du dann deine Aufnahme vor und zurückspielen und wieder zerstören. Defekten. Und mit jedem Loop zerstörst, zerstörst, bis du es neu hast. Das ist das kleine Ding. Das ist ein kleines SSR-Objekt. Das ist kein richtiges Assessor. Das ist ein SSR. Das ist ein Feedback-Device. Für haptisches Feedback. Für ein Metronome oder so. Protestieren wir jetzt auch in China. Das ist eine kleine Demonstration. Davon. Du weißt auf den virtuellen String hin. Sehr experimentell. Hier ist noch ein anderes. Das ist ein Geoskop. Der Klang wird mit Drehung kontrolliert. Summertime von George Gershwin. Okay, ich denke, danke. Hey, es ist großartig, was du da gemacht hast. Wir haben eigentlich keine Zeit mehr. Drei Minuten über der Zeit. Aber das ist der letzte Talk vor der Mittagspause. Also haben wir etwas Zeit für Fragen und Antworten. Gibt es irgendwelche Fragen? Bitte. Geht es zu den Mikrofonen? Könntest du die Musik noch mal weiter spielen? Ich glaube, das ist besser als Fragen zu stellen. Ich wollte eigentlich nicht auch was spielen. Ich könnte das in ein paar Minuten aufsetzen oder du könntest zu diesem Void Village kommen und selbst ausprobieren. Hast du jemals Gehirnströme als Kontrollquelle ausprobiert? Ja, das stimmt. Ich habe es ausgelassen, aber es gab einen berühmten Musiker und Entwickler der seine Gehirnströme verwendete, um Musik zu machen mit einem großen Helm und so. Aber ich denke, es war ziemlich schwer, diese Signale sind sehr unsauber, um Musik zu denken und dann Musik zu erzeugen. Das davon sind wir noch recht weit entfernt. Es waren Menschen, die daran arbeiten, auch in der Sea Base sogar, glaube ich. Ich dachte mehr an etwas irdisches wie deine Arme bewegen mit dem Gehirn. Wenn du deine Arme bewegst, kannst du natürlich einfach die Bewegungssignale des Arms messen. Nicht die Gehirnströme dafür. Es gab zum Beispiel ein Projekt in Montreal, in dem Sie hat Schauspieler in den Gefragt gebeten, sich mit einer Spritze in den Arm stechen zu lassen, was natürlich schmerzhaft war. Aber er gab die besten Signale und hat dann die so erfassten Bewegungen direkt in Signale umgesetzt in Musik und die wurde dann von Robert Heun gespielt. Eine Meta-Frage. Welche Instrumente hast du hier und was können wir ausprobieren? Ja, das Einzige, was wirklich bereit ist, ist dieses hier die elektronische Muntamunika und die andere, wenn jemand interessiert ist, dies ist auch die Anleitung, dies zu bauen, ist komplett auf meiner Website. Wir könnten das hier bauen oder auch die hier in Betrieb nehmen, in kurzer Zeit, einigen Stunden. Okay, danke Julian für diesen sehr interessanten Vortrag. Danke auch fürs Zuhören für unsere Übersetzung.