 So, ein Pitta-Bytes, wir sprechen hier von Pitta-Bytes von Daten und nicht Terabytes, ich verwechsel das immer. So, hier ist James Wrigley, der das Datenanalyse-Team am Europäischen Exfell und das ist die eine der größten Lichtquellen und die haben riesen Datenmengen, mit denen sie umgehen müssen und er erzählt uns jetzt, wie man das macht und er hat auch etwas und auch ganz viele Computer, die für ihn arbeiten und Hallo, James. Okay, ja, vielen Dank, André. Ja, ich bin James und ich möchte hier reden darüber, wie man versteht, wie man Experimente versteht an einem FEL. Und das bedeutet, ich versuche einfach nur, ich beschreibe ein Experiment aus der Sicht der Facility. Wir haben die Hardware, die Daten, die es erzeugt und die Systeme, die wir darum rumgebaut haben, um es zu managen, damit umzugehen. Und ich fange mal mit einem persönlichen Hintergrund an. Ich bin aus Neuseeland und ich habe in der Datenanalyse-Gruppe hier einem Europäischen Exfell angefangen in diesem Jahr und ich bin ein Instrument, ich arbeite bei den Instrumenten beim Europäischen Exfell, um deren Analysen zu unterstützen. Und bisher war das überwiegend online Analysen und das bedeutet die Echtzeitanalyse von den Daten von einem Experimenten, aber darüber reden wir später nochmal genauer. Und das meistens benutze ich als programmiersprachend Python, C++ und ich benutze als Werkzeuge, nämlich meistens den Emacs und Kondar und Biobu. Und einige von euch kennen vielleicht, wissen vielleicht nicht, was ein FVR-List. Das heißt, ich gebe euch auch eine Kurz-Einführung und Exfell bedeutet Röntgenfreielektronenlaser und das sind die neuesten Röntgenquellen und es ist eine große Maschine und erzeugt sehr kurze, sehr intensive Röntgenpulse, die benutzt werden, um physikalische Sachen zu untersuchen, Prozesse zu untersuchen. Es gibt andere Lichtquellen noch, es gibt Synchrotronen zum Beispiel, aber es gibt Exfell, ist ein Teil davon und das Besondere daran ist, dass der ganz kurze Pulse macht im Bereich von wenigen Femtosekunden oder einige 10 Femto Sekunden und jeder dieser Röntgenpulse ist sehr intensiv, sehr stark, sehr viele Photonen darin und die Strahlung ist koherent. Das ist auch für die Experimente sehr wichtig und es bedeutet, hat auch eine sehr hohe Wiederholungsrate in der Gegend von einem Megaherz. Das heißt, wir haben sehr viele Pulse in einer sehr kurzen Zeit und rechts habe ich einfach ein Bild von einem der Röntgensensoren und das ist ein ZCD und hier ist nur ein Beispiel von den Daten, die wir sehen mit einem Exfell und das bringt mich zu dem europäischen Exfell, den European Exfell. Das ist einer der stärksten Exfells überhaupt und der steht in Hamburg und das ganze Ding ist ungefähr 3,5 Kilometer lang und das hat angefangen bei Desi in Hamburg und es gibt hier eine Maschine, das ist eine Elektronenkanone und was das ist, das beschleunigt Elektronen in einem Linearbeschleuniger und ich habe hier ein kleines Bild und das zeigte die Innenseite vom Tunnel und das ganze ist unterirdisch und die Elektronen fliegen durch diese Vakuumholräume und werden auf Seehohrgeschwindigkeit beschleunigt und nachdem sie beschleunigt worden, kommen sie in die Undulatoren, die so genannten und dies ist ein Bild von einem dieser Undulatoren und die Elektronen fliegen dadurch durch diese Röhre hier und ein Undulator ist eine Ordnung von Magneten und das Magnetfeld, was diese Magneten erzeugen, sind hier oben und unten in diesen Metallstücken und das dadurch wackeln die Elektronen und bewegen sich hin und her und diese Beschleunigung erzeugt Röntgenstrahlen und das ist das, was wir wirklich wollen und nachdem die Strahlung erzeugt wurde durch die Elektronen und dann brauchen wir die Elektronen nicht mehr, aber die Strahlung fliegt hier weiter durch diese Strahlung in die Experimentierhalle und das ist in Schänefeld in der zweiten Gelände von X-Fell und hier sind die Experimente, so sehen die zum Beispiel aus und es gibt hier sechs verschiedene Instrumente an dem European X-Fell, die sich auf verschiedene Sachen konzentrieren, verschiedene wissenschaftliche Bereiche und alle haben ihre eigenen Detektoren und Ausrüstungen und so und hier sieht man eine Instrumente, Wissenschaftler, der da reinguckt und da sind die Proben drin, die wir untersuchen und von hier kommt die Strahlung rein, von rechts und da sind die Proben drin und dahinten sind dann die Röntgensensoren und das ist das Überblick über die X-Fell Einrichtung und jetzt geht es etwas an die technischen Details. Der Beschleuniger, den wir haben, kann Laserpulse erzeugen mit 27 Kilo Herz, das heißt 27.000 Strahlungspulse pro Sekunde, aber die kommen nicht kontinuierlich an, die kommen in Bündeln an und diese Bündel heißen Züge oder Trains und in diesen Diagrammen sieht man, wie diese Züge strukturiert sind, das heißt, kommen alle zehn mal pro Sekunde und in jedem Puls ist komprimiert innerhalb von diesem Train, von diesem Zug und die Wiederholrate kann bis zu 4,5 Megahertz sein und das ist wirklich einzigartig und das ist für einige Experimente wirklich sehr wichtig. Die Pulse sind auch sehr, sehr kurz, das heißt, wenige 10, 5.000 Sekunden. Eine Sache, die ihr vielleicht gesehen habt, ist, dass diese ganze Maschine extrem kompliziert ist und es gibt buchstäblich 10.000 verschiedene Geräte, die beteiligt sind hier und es können Hardware oder Softwaregeräte sein und alle davon werden ein In-House-Kontrollsystem davon kontrolliert und wir haben das From-Scratch neu gebaut für X-File und rechts kann man ein kleines Diagramm sehen von den Geräten, die wir haben, nur für ein Instrument und alle dieser Knoten stehen für ein bestimmtes Gerät und die Linien sind Daten, was irgendwie geteilt wird zwischen diesen Knoten, zwischen den Geräten und es gibt ähnliche Grafen, die man machen kann für die anderen 5 Instrumente am X-File. Das heißt, es ist wirklich ein kompliziertes System, das eine Menge Daten erzeugt und das ist alles nötig, um das Experiment durchzuführen, was wir her machen. Das heißt, die Experimente dauern gewöhnlich sechs Tage und die können von einigen hundert Gigabyte bis zu mehreren Petabytes an Daten erzeugen und wir haben den internen Rekord gebrochen, neulich für die meisten Daten in einem einzigen Experiment und am MIT waren einige, die haben 3,3 Petabyte an Daten erzeugt in nur sechs Tagen. Das ist wirklich verrückt. Aber das führt zu der Frage, woher kommt die Daten eigentlich und das meiste kommt aus zwei Detektoren. Da gibt es verschiedene Funnen und wir haben viele der und ich habe hier die mal aufgelistet. Rechts ist ein DSSC Detektor. Und der Detektor wurde speziell für X-File entwickelt und da gibt es aber auch noch andere. Dieser halt ein Megapixel und aber die Auflösung kann irgendwo sein zwischen einem halben und vier Megapixel. Und die häufigsten 1 Megapixel Detektoren sind Puls aufgelöst. Also die können von jedem einzelnen Puls in einem Pulszug auf die Daten aufnehmen. Also wenn wenn du eine hohe Wiederholungsrat hast und dann kommen da ganz viele hintereinander her und dann kriegst du von jedem dieser Puls ein Megapixel Daten und dann sind riesige Mengen und die DSSC kann Frames für 800 Pulser gleichzeitig zwischendurchspeichern. Und wenn man das ausrechnet, kommt man so ungefähr auf 16,7 Gigabyte Rohrdaten pro Sekunde. Oder du hast zweieinhalb Blockchain Berechnung pro Minute und das ist einfach nur die Daten von einem einzelnen Detektor. Und normalerweise gibt es mehrere Experimente, die gleichzeitig laufen. Also kann es auch gut sein, dass es jede Menge, also es drei Detektoren gibt, die irgendwie Gigabyte pro Sekunde ausspucken und deshalb wollen wir die Daten reduzieren. Es ist wirklich hart, diese Daten zu managen und wir können auch teilweise die Daten vorher ein bisschen reduzieren, so dass wir die Rohrdaten nicht speichern müssen. Und damit ihr das euch das mal einen Vergleich ziehen könnt, im Vergleich zu den restlichen Daten. Und hier gibt es eine Gruppierung für jede Daten bei X-Fell und jede Reihe gehört zu einer Gruppe von Daten vom ADAPO, DSSC, APO, Jungfrau, they are all kinds of Detectors. Und dann gibt es noch die A, was eine andere Quelle ist, was alles ist, was nicht detektiert ist an Daten. Dinge wie Motorpositionen oder andere, sowas wie die Australenenergie. Insgesamt haben wir ungefähr 16 Peterbytes von Daten und hier könnt ihr sehen, dass die nicht detektierten Daten nur drei Peterbytes sind, was wirklich nicht viel ist im Vergleich. Und ja, deshalb ist das so ein wichtiges Thema für uns, die Daten zu reduzieren und sowas wie, wir brauchen spezielle Systeme um sowas wie 16 Gigabyte pro Sekunde damit klarzukommen. Und deshalb haben wir ein spezielles Computer-Environment, das wir ja Online-Cluster nennen. Das ist ein Cluster, das ist auch, das sich auch physisch bei den Experimenten befindet. Und das nutzt halt alle Systeme, die während des Experiments laufen kontrolliert. Da ist auch sowas wie Kalibrierung und Analysis. Und da gibt es ungefähr 150 Knotenpunkte dran. Die meisten sind CPUs. Teilweise sind es auch GPU-Knoten und das ist vor allem für die Online-Calibration benutzt. Und der Zugang dazu ist sehr beschränkt. Du brauchst besondere Erlaubnisse dafür und es gibt keinen direkten Zugangs zum Internet. Und unser PHY System ist hauptsächlich GPS, FS, was ein präparitäres System ist, was auf SSDs läuft, weil wir viel schnell schreiben müssen. Und aus Performance-Grunden nutzen wir Infini-Band, was eine Netzwerktechnologie ist, was halt für besonders schnelle Dinge so entwickelt wurde. Und hier ist ein sehr übervereinwachtes Diagramm von dem, was während Experimenten läuft. Links, wir haben die Geräte, die laufen im Kontrastau-System, die können entweder eine Repräsentation von physischer Hardware sein, sowas wie eine Kamera oder Detektor, oder es kann auch einfach Software sein. Und wenn jetzt zum Beispiel die Daten von der Kamera in Realzeit bearbeiten wollt, dann ist das auch da drin. Und auch das, was die, und dann können die Software auch aussuchen, welche Devices die haben wollen. Da können hunderte von Geräte pro Detektor sein, die Datenquellen sind. Und die Daten, und dann wird das vom DEQ genutzt, das Datenakquisitionssystem, das sammelt sie da, und schreibt es auf das Online-Cluster. Und wie gesagt, das nutzt GPFS auf SSDs. Und die Wissenschaftler brauchen auf jeden Fall auch Feedback. Und das, weil das ist wirklich, wirklich teuer. Und weil mit dem Experiment verbrauchen wir Tausende von Euros pro Minute, deshalb braucht man es wirklich, um zu wissen, was da passiert. Und das passiert in der Online Analysis. Und das passiert vor allem von Daten vom zweiten Detektor. Und die Rohndaten sind nicht richtig nutzbar, als braucht Kalibrierung. Und das macht die Online-Kalibrierung. Und mit der Kalibrierung nimmt sich halt die Rohndaten und kalibriert die. Und dann füttert das die in die Online-Analyzer Tools. Und wir haben das über die letzten Jahre auch sehr geupgraded für bessere Performance. Und daher bekommen die Wissenschaftler auch innerhalb von Sekunden Feedback von ihren Instrumenten, was wirklich, wirklich nützig ist. Und das letzte, der letzte Teil, über den ich drüber sprechen möchte, was ist das Diagramm? Ist die Migration hier? So, man kann auf dem Online-Klaster nichts langfristig abspeichern. Es ist nur für während der Experimente. Und es gibt ein getrenntes Computer-Environment, was Online-Klaster genannt wird, für Langzeit speichern und auch für die finale Analyse. Und da gibt es den Prozess der Migration, was die Daten von dem Online-Klaster zum Online-Klaster kopiert. Nachdem die Daten aufgenommen werden, wird es kopiert. Und dann können die Wissenschaftler, die die analysieren, dort auf die Daten zu greifen im Online-Klaster. So, ich wollte euch jetzt was zeigen von der Analyse. Und das erste Beispiel ist die Brackpeak-Analyse. Zum Hintergrund ein bisschen, wenn man Photonen auf ein Kristall feuert, dann werden die in eine bestimmte Richtung abgelenkt. Und auf dem Detektor sieht man das als ein Blob. Und für bestimmte Experimente ist es wichtig, wenn man die Features, die Eigenschaften für diesen Blob untersuchen kann und verfolgen kann. Deswegen braucht man die Position. Wo ist der auf dem Detektor? Und manchmal macht man auch eine Kurvenanpassung dafür. Und hier zum Beispiel eine Gausskurve. Und wir wollen die volle Breite im halben Maximum sehen können. Und die andere ist die Intensität. So wie hell ist der Peak, ist die Spitze davon. Und rechts sieht man einige Beispiele von diesen Analysen, die während eines Experiments aufgezeichnet wurden. Und was hier wirklich cool war bei diesem Feature ist, man sieht hier wie die Position von dem Brackpeak wandert während der bestimmter Motor sich bewegt. Und wenn man diese Daten in Echtzeit erfasst, ist das extrem hilfreich, um das zu analysieren. Das heißt eine Art Analyse, eine andere Art ist Azimotal Integration. Und auf dem letzten Folie habe ich gesehen, wir haben einen einzelnen Blob gesprochen auf dem Detektor. Aber in manchen Experimente erzeugen wir ganz, ganz viele von diesen sogenannten Brackpeaks. Und die Daten von diesem Detektor haben auf der Radiale Symmetrie und das sind Streuungsringe. Und es gibt ganz viele von diesen Brackpeaks, die alle denselben Radius haben. Und bei diesen Experimente ist es nützlich, wenn man zum Beispiel zählt, wie viele Ringe es gibt, welchem Radius die sind. Das heißt, wie weit entfernt ist dieser Ring vom Zentrum und was ist die Intensität des Rings. Und man muss dafür gute Geometrie haben. Und es ist einfach sehr, sehr empfindlich. So und wenn man das hat, dann funktioniert es gut, um noch ein bisschen mehr zu erklären, was diese Azimotal Integration ist. Man nimmt dieses Bild das auf der rechten Seite, das hat eine Radiale Symmetrie und das kann man umwandeln in Polarkoordinaten und eine Art, wie man darüber nachdenken kann, über diese Transformation ist, wenn man sich vorstellt, man hat einen Kreis und schneidet an einer Stelle durch und dann faltet man diesen Kreis auseinander auf eine Linie. Das ist vorstellbar ungefähr so wie diese Transformation, die wir machen. Was wir wirklich machen ist hier, dass diese Kreise, die man hat, dann zu gerade Linien abgebildet werden. Und auf der einen Achse haben wir den Radius, das ist der Entfernung vom Zentrum und auf der vertikalen Achse haben wir den Winkel und das ist der Azimutwinkel. Und was ich hier machen will, wir integrieren über diesen Azimutwinkel und bekommen dann eine eindimensionale Streukurve und die Black Linien hier in diesem Polarkoordinaten System, die konspondieren zu den Spitzen in diesem Scatter Diagramm, diesem Streukstiagramm. Und das ist wirklich das, was wir sehen wollen. Wie viele Peaks haben wir hier? Wie viele Spitzen? Hier haben wir drei große Spitzen. Die wollen natürlich wissen, wo die sind, wie weit weg vom Zentrum sind die. Und wollen natürlich wissen, wie hoch sind die, wie intensiv sind diese Spitzen. Und das kann man alles online machen in fast Echtzeit mit nur wenigen Sekunden Verzögerung. Und ich habe ein sehr einfaches Beispiel hier. Das benutzt einen etwas andere Datensatz. Hier kann man sehen, dass hier mehrere Streukringe sind. Und in diesem hier haben wir nur ein ganz breiten Ring. Und man sieht, dass der, hier sieht man das sehr deutlich in dieser 1D Scatter Kurve. Und hier haben wir automatische Spitzen, Findungsalgorithmen. Und da sieht man genau, wo diese Spitze ist, wie weit weg vom Zentrum. Und wenn man will, kann man auch eine Kurve anpassen. Hier haben wir eine Gauss Kurve angepasst. Und hier sieht man den, die Parameter von dieser Kurve. Und das ist die Online-Analyse. Das ist das, was passiert während eines Experiments, während es noch läuft. Und ich schalte jetzt mal um und zeige was anderes für eine andere Umgebung, die wir haben für die Offline-Analyse. Und das ist der sogenannte Offline-Cluster. Und was ich hier den Offline-Cluster nenne, ist der Maxwell-Cluster. Und es ist ein Rechencluster, der von Desi betrieben wird für ihre eigenen Anwendungen. Und von Exfell kooperiert, sehr eng mit Desi. Wir teilen uns einen großen Teil Infrastruktur. Und deswegen können wir den Maxwell-Cluster hier benutzen. Das heißt, wir benutzen den für Langzeitspeicherung und für die entgültigen Analysen. Und in dem Fall ist es einfach viel größer. Es ist viel mehr Rechenleistung hat als der Online-Cluster. Der Online-Cluster, dieser Offline-Cluster hat 800 Knoten gegenüber 150 für den Online-Cluster. Und ungefähr 27 Prozent davon sind GPU-Knoten. Und es unterscheidet sich auch davon, dass er unterschiedliche Speichersysteme hat und unterschiedliche physische Medien, um die da zu speichern. Das heißt, natürlich haben wir Festplatten, aber wir haben auch Magnetbänder zur Speicherung. Und wie der Online-Cluster benutzt, benutzen wir auch Infini-Band als Netzwerkinfrastruktur. Und dieser Cluster ist das, was wir benutzen für die Offline-Analysen. Um etwas spezifischer ist das die Analyse, die nach einem Experiment gemacht wird. Und normalerweise ist das, wenn man Analysen vorbereitet für eine Veröffentlichung in einem wissenschaftlichen Paper, wissenschaftlichen Zeitschrift. Und die Offline-Analysen ist sehr unterschiedlich je nach Experiment. Und es gibt einige Felder mit Techniken, die schon fertige Tools haben, die es schon gibt für die Offline-Analysen. Das wäre zum Beispiel Serielle-Kristallografie. Das erkläre ich ganz kurz. Serielle-Kristallografie ist eine Technik und dafür gibt es mehrere Tools mit Kommando-Zeilen, Interface oder grafischen Interfaces. Und die Benutzer können das benutzen, um die Dat zu analysieren. Eine andere Option wäre Jupiter-Notebox. Und wir haben eine Jupiter-Instanz. Und diese sind sehr beliebt. Das heißt, auf der rechten Seite habe ich ein Beispiel. Und typischerweise Hier können wir zum Beispiel sehen, dass jemand Daten von einem Spektrometer analysiert hat. Und hier benutzen wir einfach nur Matlab, um das zu machen. Ganz normale Standard Tools eigentlich. Und die Offline, der Online-Cluster benutzt auch ähnliche Systeme. Das ist benutzt, um die Daten in Echtzeit zu korrigieren. Und wir haben noch ein anderes System, um das noch genauer zu machen, um das die Offline-Kalibrationssysteme. Und wir benutzen auch Jupiter-Notebox dafür. Und der Vorteil ist, dass es sehr einfach für die Detektor-Wissenschaften benutzt werden. Und all diese Daten, die wir erzeugen, sowohl die Roh-Daten als auch die Offline-Kalibrationssysteme, das ist alles in HDF5-Dateien gespeichert. Und wir haben zusätzliche Daten. Und die zusätzlichen Daten sind Extra-Data. Daten von einem Experimentallauf und Extra-Geom sind Daten, die von den 2D-Detektoren stammen. Ich habe ein kleines Beispiel hier, welches die Röntgen-Daten-Nutzung zeigt. Hier könnt ihr oben geimpatet. Jetzt laden wir einen speziellen Lauf eines Experiments und gucken da rein. Und hier gab es 4.000 Pulszüge. Es ging ungefähr 6,5 Minuten lang. Und hier seht ihr all die Geräte, die das Datenfond hatte, zum Beispiel von einem, hier ist es ein Spektrometer. Und am Ende könnt ihr sehen, dass wir aus dem Lauf auch Daten rausbekommen. Und hier an dem ersten bekommen wir zum Beispiel Kamera-Daten. Und hier ist es einfach ein normales Num-Py. So wir nutzen Python-Ecosystem. Und die Num-Py, das was zum Python-Ecosystem ist, so ganz viel Num-Py und SciPy und so was. Also es ist einfach ein multidimensionales Num-Py-Array. Und der ganze Punkt von Offline-Analyse ist, um wirklich harte Analyse zu machen, die dann auch bereit ist für die Veröffentlichung. Und um zu enden, habe ich hier ein paar Beispiele, was man damit machen kann. Das erste bezieht sich auf die reale Femtosecote-Kristallografie. Und damit kann man Strukturen in biologischen Strukturen herausfinden, zum Beispiel bei Gen. Und dafür braucht man halt eine sehr hohe Wiederholungsrate und jede Menge Photon. Und das macht man, indem man identische Proteine nimmt, die in der Flüssigkeit löst. Und dann feuert ihr mit eurem Röntgenbeam da rein. Und hoffentlich trefft ihr einen Protein pro Puls. Und dann kriegt ihr da Daten raus. Und dann könnt ihr daraus die Struktur von dem Protein oder was auch immer für ein biologisches Ding gehabt herausfinden. Das Problem ist, dass ihr wirklich viele Photon braucht, die dann auch an vielen, vielen Proteinen streuen müssen. Und das müssen so mindestens 10.000 sein. Und deshalb braucht man so eine hohe Wiederholungsrate. Deshalb ist sie so wichtig. Und im Idealfall habt ihr nur ein Protein getroffen pro Puls. Und eigentlich ist die Wahrscheinlichkeit sehr, sehr klein. Und deshalb braucht man halt so eine hohe Intensität mit so vielen Photonen. Und das zweite Beispiel sind die ultrafasten Dynamiken. Und da gab es was, wo Wissenschaftler sich Strahlungsschäden von Wassermolekülen angesehen haben. Und dann, und der Prozess, wie diese Wassermoleküle zerstört werden, ist richtig, richtig schnell. Es passiert innerhalb von 50 Sekunden. Und deshalb braucht man halt diese super kurzen Pulse. Und das ist so ähnlich wie bei der Beleuchtungszeit bei einer normalen Kamera. Und wenn ihr nämlich was, was aufnehmen wollt mit einer normalen Kamera, was ein sehr schnellen Prozess aufnehmen wollt, dann braucht ihr auch eine sehr kurze Beleuchtungszeit. Und deshalb braucht man hier jetzt auch sehr, sehr kurze Pulse. Und das sind nur zwei Beispiele. Und es gibt noch viel, viel mehr. Ich würde lügen, wenn ich sagen würde, dass alles verstanden habe. Ich bin das Zahlwissenschaftler. Wir sind ein bisschen spät dran, aber es gibt nicht so viele. Aber sie kommen jetzt rein. Wenn ihr Fragen stellen wollt, geht unter den Stream zum Infotrop down menu und dann geht zum Chat. Entschuldigung. Und dann findet ihr die Hashtags und den ISC. Und wir haben Fragen hier. Ich lese sie vor. Wenn ihr viele Pulse pro Sekunde braucht, warum dreht ihr dann keine Scheibe mit Löchern vor einer kontinuierlichen Lichtquelle? Ja, ich such mal gerade die passende Folie raus. Dieses Ding hier benutzt eine Elektronenkanone. Und der Grund, warum wir diese Struktur haben, ist, die Elektronenkanone muss wieder geladen werden. Und was, wenn man eine, eine, eine kontinuierliche, kontinuierliche Pulse hat, das ist möglich. Und ich glaube, in den USA gibt es, gibt es eine, vielleicht ist es OZLS. Und die haben ein Speichering. Und ich glaube, was mit, die mit, bei deren Elektronen kann und passiert, die haben ein Speichering, wo alle Elektronen drin sind. Und dann können sie die abzweigen, kontinuierlich abzweigen. Aber das haben wir hier nicht. Und deswegen haben wir diese Struktur von diesen Trains, von diesen Zügen, von Pulsen. Okay. Danke. Die nächste Frage. Habt ihr euch schon mal überlegt, evaluierte Julia zu nutzen? Julia ist on my personal radar. Aber ich glaube, das ist noch nicht wirklich rigoros genug, aber es wäre sicherlich attraktiv. Und ich glaube, wir haben mal versucht, das zu benutzen für die Anwendungsfälle, die Anwendungsfälle. Und, und, aber der Flaschenhalz war eigentlich IO. Und deswegen, es gibt sicherlich einige Anwendungsfälle, wo es sinnvoll sein könnte, das zu benutzen. Danke. Und das ist eine sehr grundlegende Frage. Denkt ihr für eure Anwendung das Photon, Wellen oder Teichensund? Das weiß ich wirklich nicht, wie ich das beantworten soll. Ich habe keine Ahnung. Und was ich vielleicht sollte, man eine Mail schreiben an Excel. Und vielleicht gibt es da einige Leute, die das beantworten können. Aber ich habe nicht den Hintergrund dafür. Sorry, dass ich dich ein bisschen bloß gestellt habe. Nutzt ihr eventbasierte Kameras? Ich weiß nicht genau, was du jetzt meinst, damit eventbasierte Kameras vielleicht Ereignisse eine Kamera auslösen. Und ich glaube, die Antwort wäre Nein. Es gibt ein sehr ausgeklügeltes Timingsystem, das alle die Sachen synchronisiert, dass sie genau zusammenarbeiten. Und ich glaube nicht, dass das Ereignis basiert ist. Vielleicht habe ich die Frage nicht ganz richtig verstanden. Okay. Momentan gibt es keine weiteren Fragen. Also warten wir jetzt noch eine Minute oder zwei. Du bist weit weg von Neuseeland. Wie bist du hierher gekommen? Ich, nachdem ich meinen Abschluss gemacht hatte an der Uni, habe ich für eine Zeit in den Niederlanden gearbeitet für eine Finanstechnologiefirma. Und diese Computersachen in der Wissenschaft, das war eigentlich mein Ziel. Und vor einigen Jahren als Excel, die Stelle ausgeschrieben hat und habe ich mich beworben und bin wirklich froh, dass sie mich gewählt haben, mich ausgewählt haben. Und es war gar nicht so der Weite Weg von Neuseeland nach Hamburg, sondern von Neuseeland in die Niederlande und dann nach Hamburg. Selbst das? Selbst Neuseeland Niederlande ist schon ein ganzer Stück. Ja, der Flug war fürchterlich, es waren 30 Stunden oder so. Als ich jünger war lieb, liebliches zu reisen, aber jetzt vermisst du Neuseeland? Nicht besonders, muss ich sagen, ein großartiges Land. Aber ich muss sagen, ich liebe die Arbeit, die ich hier mache und es gibt nicht viele Tage, an denen ich wirklich Neuseeland vermisse. Vielleicht war ich noch nicht lange genug weg, vielleicht in ein paar Jahren werde ich vielleicht ... Ich würde annehmen, dass das Wetter besser ist. Es kommt darauf an. Ich habe in der Hauptstadt gewohnt, in Wellington, und es ist eine Hafenstadt, vielleicht ein bisschen wie Hamburg, und das Wetter war gar nicht so anders. Ich glaube, typischerweise war es im Schnitt vielleicht ein paar Grad wärmer, aber es ist immer sehr windig und regnerisch, und es fühlt sich gar nicht so anders an. Okay, das ist ... Sorry, hören uns noch Leute zu? Leute, Fragen gibt es, ist die Software vergleichbar zwischen der Finanzbereich und der Physik? Gute Frage. Sind das einfach Daten? Ich würde sagen, es war sehr unterschiedlich. Ich glaube, die meisten Arbeit ist in Python, und vorher war es in C++. Wir benutzen bei X-File auch C++ für sehr CPU-intensive Teile, aber das meiste ist wirklich Python. Lass mich mal überlegen, was andere Unterschiede noch waren. Finanztechnologie ist eher ... für die Software, wo ich daran gearbeitet habe, war viel einfacher. Und bei X-File ist es wirklich hilfreich, auch einen Hintergrund in Physik zu haben, und anders als bei Finanztechnologie. Und ich finde es hier auch viel interessanter. Erwunderter Erwartung erfüllt? Oh, ja, ja, auf jeden Fall. Letzte Frage. Zu deinem HBC-Cluster. Welche Schedule habt ihr genutzt? Bei dem Offline-Cluster benutzen wir SNEM, und ich habe das selbst nicht so viel benutzt. Ich glaube, das ist die einzige Schedule, den wir benutzen. Ja, ich glaube, ja. Soweit ich weiß, benutzen wir das nicht auf dem Online-Cluster. Könnt ihr mir jetzt hören? Das tut mir so leid. Ich soll hier keine Art, wer ändern soll. Ich soll dich grüßen von ... Ich weiß nicht, ob ... Ich habe mich erinnert, aber ich arbeite in der Nähe, und wir können uns in der ASCII-Welt treffen. Da gibt es noch eine Frage. Was sind die einzigartigen Sachen von GPFS? Das ist eine gute Frage. Leider habe ich keine gute Antwort für dich, weil ich nicht sehr viel mit dem Feilsystem so zu tun habe. Das heißt, erst mal würde ich sagen, ich weiß nichts wirklich über die Leistung davon. Und etwas Schönes von GPFS ist, dass wir direkten Unterstützung, direkten Support von IBM kriegen dafür. Aber sonst kann ich die Frage nicht wirklich beantworten. Tut mir leid. Okay. Das war es mit den Fragen. Ich habe mich gewundert, ob es vielleicht noch notwendig ist, ein Breakout rumzugehen, weil es gibt jetzt gerade auch keine Fragen mehr. Wenn es nicht okay ist für dich ... Wir sind genau in der Zeit. Vielen Dank. Ich bin immer noch vollkommen überwältigt von der Menge an Daten. Vielen Dank, dass ich hier sein durfte. Es war großartig. Danke für den Talk. Viel Spaß in Hamburg. Und erinnere dich daran, wenn die Fischer vorbeischwimmen darfst, du darfst dich übers Wetter beschweren.