 So, und jetzt bin ich richtig hier. Ich freue mich, dass ihr so viele da seid. Ihr habt es alle herbekommen. Gestern gab es beispielsweise irgendwelche Stellwerkausfälle, aber ich glaube mittlerweile haben wir keine Probleme mehr herzukommen. Schön, dass wir so viele sind. Ja, wir haben jetzt ein oder zwei Talks schon gesehen. Jetzt gehen wir in die ernsthaften Teile nach dem Fun Talk, den wir hier zuletzt hatten. Wer von euch kennt eigentlich LAN-Partys? Yay, dann habt ihr zumindest ein Stechwort hier, was es in dem Talk geht, glaube ich schon mal kapiert. Wer von euch kennt BGP? Was wollt ihr denn eigentlich noch hier? Okay, ich glaube, ihr habt ein bisschen was Ahnung, worum es geht und ich hoffe, ihr habt Spaß mit... Wie tauscht man eigentlich Internet von Momo und Sebastian, die sich gleich selbst vorstellen werden? Viel Spaß! Ja, dann vielen Dank. Schön, dass ihr alle so zahlreich erschienen seid. Nur mit allem müssen wir euch schon mal von Anfang an enttäuschen. So ernst wird es auch nicht. Wir versuchen natürlich jetzt hier ein paar technische Details, häufiger auch mit ein bisschen Humor zu erklären. Dabei bleiben ein paar Details auf der Strecke. Nehmt es also bitte nicht als Nachschlagewerk, sondern als Inspiration, wenn euch irgendeine Technik davon interessiert. Das Zweite, was wir gerne vorne weg noch lösen möchten, wir betreiben Internet-Exchange. Und dementsprechend haben wir eine Meinung, die wird hier einfließen. Das werden wir versuchen zu kennzeichnen. Nichtsdestotrotz, wenn wir hier irgendwas als Fakt raushauen, fact-checkt uns gerne. Des Weiteren, wir erzählen alles in IPv6. Früher damals gab es mal dieses IPv4, das ist aber irgendwie vorbei. Ich hätte es auch lieber gerne so, dass es stimmt, was ich hier erzähle, aber wie gesagt fact-checkt mich gerne. Und ja, wie gesagt, wir sind im Abendprogramm angekommen. Eine oder zwei flache Witze müsst ihr entschuldigen. Und damit fangen wir auch gleich an. Wie tauscht man eigentlich Internet? Wir haben da natürlich AI gefragt, und zwar depthGPT. Das behauptet, dass man eine festgezute Kiste voller Daten und Bits auf den nächsten Pferdepostwagen schmuggelt. Ja, wir als Technikverweigerer mussten uns dem dann auch geschlagen geben. Und das war es. Vielen Dank für den, dass ihr gekommen seid. Spass beiseite. Wir haben eine kleine Vorstellung mit dabei im Stargate-Intro-Stil. Die würde ich jetzt einfach mal kurz abspielen und dann geht es gleich weiter. Gleich wird man's im Saal gejagt. Das Internet. Unendlicher Wein. Wir schreiben das Jahr 2023. Dies sind die Abenteuer des Stuttgart-IX, der mit seinem ehrenamtlichen Team seit fast 20 Jahren unterwegs ist, um Neunand ins Schwabenland zu bringen. Viele Nichtjahre von DSL entfernt drehen das Team in Bandbreiten vor, die noch kein Schwabel zuvor besagt. Ja, geil, was man für 20 Euro kaufen kann online. Ich denke auch. Ja, 20 Euro auf Fall war gut investiert. Ich hoffe, ihr hattet Spaß mit unserem Babylon 5-Intro. Wie wir gesprochen, stellen wir uns vor. Ja, ich bin der Sebastian Neuner. Ich arbeite tagsüber sozusagen beim Landeshochschulnetz hier in Baden-Württemberg. Ich arbeite da im Backbone, alles was in die Routing angeht. Ich bin ansonsten irgendwie so ganz am Rand hier beim Knock dabei und bei Selfnet und bei einigen anderen Sachen. Und mach mit Momo zusammen, ich sag mal so, nachts und am Wochenende den Spätzler-IX. Ja, ich bin Momo. Ich bin eigentlich tagsüber Geschäftsführer von einem Internet-Service-Provider im Stuttgart der Global Race. Ich bin außerdem noch bei der Denok engagiert, die auch eine Konferenz, wo es eigentlich nur ums Internet geht, macht, seit dazu auch herzlich eingeladen, Ende November in Berlin. Und ja, wie Neuner schon gesagt hat, machen wir zusammen den Spätzler-IX. Und darum soll es auch heute gehen. Wir versuchen uns da so ein bisschen an der Agenda heranzuhangeln, erstmal zu klären, was eigentlich dieses komische Internet ist, wo man es herkriegt, wie man es dann tauscht. Dann erzählen wir ein bisschen was aus dem Nähkästchen von uns aus Stuttgart und teilen dann noch ein bisschen Meinung zu Internet-Exchanges. Und damit würde ich direkt mal an den Neuner übergeben. Genau, es geht jetzt quasi los mit dem Thema, wie ist das Internet aufgebaut, wie komme ich ins Internet? Wie gesagt, der Talk fängt eigentlich sehr basic an. Ich glaube, es waren irgendwie alle Hände oben, als nach BGP gefragt wurde. Wir haben eigentlich eher so ein bisschen für Einsteiger gedacht und haben jetzt mal gesagt, man fängt jetzt quasi damit an. Man sitzt zu Hause mit seinem Laptop und denkt sich, ich will jetzt Daten schicken an irgendein Server oder irgendjemand anderes im Internet. Wie mache ich das? Und ja, ich sitze da mit dem Laptop und irgendwo gibt es auch ein WLAN-Router. Und diese WLAN-Router-Devices, die sind alle in diesem gleichen LAN. Ja, also wir haben jetzt hier die IP-Adressen noch irgendwie dazugeschrieben. Der Laptop hat irgendwie die Hinten, die 1, 2, 3. Und der WLAN-Router hat die 1. Und wenn ihr jetzt mit IPv6-Adressen nicht so tief im Thema seid, ist alles gar nicht schlimm. Ich glaube, man versteht es auch alles so. Wenn ich jetzt ein Paket verschicken will, dann muss ich irgendwie eine Route haben, wo der Laptop das Paket hinschickt. So, und da gibt es etwas, das nennt sich Default Route. Das ist jetzt hier in dieser Tabelle das untere, also das Doppelpunkt, Doppelpunkt, 0, 0. Das bedeutet für alles, wofür der Laptop kein besseres Ziel, keine bessere Route kennt, schickt der einfach alle Päckchen an den WLAN-Router. So, der WLAN-Router, der wird sich dann schon irgendwie drum kümmern. Der weiß dann schon, was er damit tun soll. Außerdem hat man dann halt noch eine Route, die sagt, all diese Dinge in diesem Slash64-Netz, die sind jetzt in meinem lokalen LAN. So, und darüber findet er halt den WLAN-Router. Also erst mal ganz einfach, was macht jetzt der WLAN-Router damit? Im Prinzip hat er ja jetzt das gleiche Problem. Der hat auch wieder so eine Tabelle. So, und in dieser Tabelle steht halt auch wieder drin, es gibt dieses lokale LAN, alle Geräte, die hier sind, die gibt es irgendwie direkt über das LAN-Interface vom WLAN-Router und alles andere, hat jetzt auch wieder eine Default Route, weil man hat ja einen Internet Service Provider und dann schickt der WLAN-Router halt alle Pakete erst mal zu dem Internet Service Provider. Der ist jetzt hier angedeutet als dieses Internet-Symbol. So, jetzt kriegt der Internet Provider das Paket. Was macht der damit? So, und der Internet Provider, das ist auch wieder so ein Geflächte, so ein vermaschtes Netz aus Routern und irgendwie kriegt einer von diesen Routern dann das Paket und jetzt weiß der Internet Service Provider, das Paket hat ja eine Zieladresse, jetzt weiß der irgendwie, wo er es hinschicken soll und da gibt es jetzt vielleicht so einen anderen Anbieter, wo er es hin soll und Internet Provider sind quasi eingeteilt in ein autonomes System, nennt sich das, jedes autonomes System hat eine AS-Nummer und also hier sind quasi diese AS-Nummern alle Beispiele, genauso wie die IP-Adressen alles nur Beispiele sind und jetzt will ich quasi ein Paket schicken, irgendwo hin ins Internet und das ist jetzt ein anderer Internet Provider und das heißt, es gibt jetzt eine andere AS-Nummer, also was macht der ASP jetzt? Er schickt das Paket irgendwie zum Internet. Ganz klar, der muss ja irgendwie an dem Internet angeschlossen sein. So, jetzt kommt der Mitmachteil, es gibt aber das Internet, wo man sich einstecken kann, gar nicht. Okay, noch mal. Also das Internet, wo man sich einfach einstecken kann und ist dann am Internet angeschlossen, es gibt so einfach gar nicht. Nein. Besser, danke. Das war ein Teil, der abgehakt, Bonuspunkte für Publikumsinteraktion. Ja, also wie geht es dann? Also wie geht es dann mal zurück? Es gibt irgendwie den Internet Provider, der muss irgendwie das Paket zu einem anderen Provider kriegen, also muss es da irgendeine Art von Kabel geben zu dem anderen Internet Provider. So, aber wenn die jetzt irgendwie da nur einzelne Provider sind oder einzelne Netze, sagen wir mal, und da sind irgendwie Netze, also Kabel zwischen den Netzen und die sind irgendwie einzelnen verbunden, willst du dein Internet haben? Ja. Ja gut, ich meine im Endeffekt hast du es ja gerade schon erklärt. Ich brauche ein Kabel von meinem Internet, dieses AS 65.000, äh 65.000, ja, große Zahlen, zu den anderen Provider. Also nehme ich im Endeffekt jeden anderen Provider, was weiß ich, ein AS 3320, eine telekommende AS 1569, die Google, und ich stecke zu jedem von denen ein Kabel immer weiter und weiter, und dann möchten die ja auch Internet haben, die auch her und stecken auch wieder ein Kabel zum jeweils anderen. Und irgendwas, das wir da hier gerade gebaut haben, sprich direkte Kabel zu einem anderen Netzbetreiber zu schicken, nennen wir dann Private Network Interconnect oder kurz PNI. Das ist natürlich eine super einfache Möglichkeit, Netzprovider miteinander zusammen zu verbinden. Es gibt nämlich keine dritte Partei, es gibt quasi nur mich, den anderen und das Kabel, und damit können wir relativ klar herausfinden, wo das Problem ist, wenn da irgendwie ein Paket verloren geht, dann wird es ziemlich sicher auf diesem Kabel sein. Wenn da irgendwie das Licht ausgeht, ist auch das Kabel ausgesteckt worden. Insofern relativ easy. Und was natürlich auch noch ein schöner Vorteil davon ist, ich sehe natürlich die Kapazität, die ich habe, weil keine Ahnung, das ist bei mir ein 10 Gigabit Port, und ich sehe das bei dem anderen, weil der hat ja auch den gleichen Port wie ich, und da geht nur unser Traffic drüber. Das heißt, wir sehen relativ klar, wie hoch hier die Auslastung ist, und sollte das dann eben zu irgendwelchen Kapazitätsproblemen kommen, kann es jede Seite selber feststellen. Das Ding ist aber kommerziell macht das nicht so viel Spaß. So ein Router, der im Internet mitspielt, kostet mehrere Zehntausend Euro, und so ein Router Port kostet auch dann mal locker eine mehrere Tausend Euro. Und das jetzt für jedes Netz im Internet zu machen, skaliert irgendwie nicht. Aber irgendwie möchten wir trotzdem alle Routen in diesem Internet finden, was jetzt aktuell bei ungefähr 75.000er Erstnummern, die im Internet aktuell zugeteilt sind, bedeuten würde, dass wir 2,8 Milliarden Peerings, neuner hat das gerechnet, na ja, das ist ex-quadratisch. Also ungefähr 2,8 Milliarden Kabel stecken müssen, das wird ein ziemlich teurer und ziemlich großer Router. Ich hätte den gern, kein Thema, aber ich kann ihn mir glaube ich nicht leisten, und ich glaube, den kann sich niemand leisten. Und dann ist natürlich auch das Thema so ein Kabel irgendwie hier, was weiß ich, in Stuttgart von meinem ISP zum Bell über, das kann ich total einfach stecken. Wenn ich jetzt nach China ein Kabel stecken musste, wird das auch entsprechend teuer. Trotzdem möchte ich ja vielleicht irgendwann mal auf eine chinesische Website gehen oder so was. Dementsprechend müssen wir das irgendwie anders lösen. Und dafür gibt es jetzt zwei andere Varianten. Die eine ist eben dieser Internet Exchange Point, wie unsere Herr Aldinea schon gesagt hat, die LAN-Party quasi. Es ist wie früher, alle Netzbetreiber treffen sich zur LAN-Party an irgendeinem schönen Ort und stecken dann einen Kabel in ihren Switch und hoffentlich funktioniert das alles und keiner muss mehr Counter-Strike installieren. Genau. Aber eben dadurch, dass die Ports auf den Routern ja so teuer sind und ich jetzt für ein kleines Netz, was weiß ich, das quasi nur einer meiner Kunden Dienstags beim Mundschein aufruft, muss ich kein extra Port reservieren, brauche ich kein extra Kabel, deswegen kaufe ich quasi einen 10-Gig Port zum Beispiel an so ein Internet Exchange und kann dann darüber mehrere Netze sehen, nämlich alle, die auf meiner LAN-Party sind. Das ist natürlich extrem viel einfacher und billiger und wir haben halt keinen Any-to-Any, sondern wir haben nur noch einmal auf diesen Internet Exchange Switch und von da aus dann weiter. Aber natürlich müssen dann auch alle Freunde zur LAN-Party kommen und auch das fastiert leider nicht. Immer irgendwer hat immer, was weiß ich, Fußball-Training oder so. Deswegen gibt es noch eine weitere Variante, nämlich wir haben quasi uns als Internet-Service-Provider und wir gehen zu jemand anderen, einem Internet-Service-Provider und kaufen von dem Internet. Wir kaufen eine Full-Table. Das heißt im Endeffekt, wir gehen zu diesem Internet-Service-Provider hin, kaufen uns von dem das Versprechen ein, dass er uns das ganze Internet dieser Welt zeigen kann und kriegen dann alle Routen von dem und wir schicken ihm auch zusätzlich noch unsere Routen. Und damit sehen wir dann zum Beispiel alle, die zum einen direkt an diesen ISP angeschlossen sind, also diesen Transit-Provider angeschlossen sind, also alle anderen Internet-Service-Provider, die Kunde dieses Transit-Netzes sind, aber auch über weitere Schritte, die mit denen er irgendwo eine Verbindung hat. Und da er mir das Versprechen kauft, die ganze Welt zu kennen, kenne ich dann auf einmal auch die ganze Welt und bin ein sogenannter Full-Table-Provider. Ja, und damit haben wir dann alle unsere Routen gefangen. Schauen wir uns das vielleicht nochmal ein bisschen technischer an mit BGP. Das erste Thema hatten wir bereits, wir sind mit dem IS direkt verbunden, wir haben also hier diesen PNI und im Endeffekt lernen wir zum einen die Route jetzt hier, dieses Slash 64, das CDN da schickt. Die lernen wir direkt in unserem IS-Pfad, also es ist direkt neben uns dieses IS 65123 und damit haben wir schon mal eine Route in unserer Routing-Table. Jetzt werden wir die gleiche Route aber vielleicht nochmal lernen, nämlich von unserem Transit-Netz. Das heißt, wir haben hier Transit gekauft von AS 656069, nice. Und sehen im Endeffekt jetzt hier im IS-Pfad, dass wir ebenso die gleiche Route wieder lernen, aber der AS-Pfad ist länger. Nämlich, wir haben dieses 656069 zwischen den 65123 und haben dadurch auch eine Möglichkeit zu unterscheiden, wie gut ist diese Route, wie nah sehe ich sie an mir. Und dadurch eine Möglichkeit, eben Traffic-Entscheidung zu treffen, wohin geht der Verkehr, wie kann ich das am schnellsten und am effizientesten ans Ziel bringen, ohne eben über mehrere Hops zu gehen. Die letzte Option, und ich weiß, sie passt nicht zur Reihenfolge, die ich gerade erzählt habe, ist eben, den Internet-Exchange zu nehmen. Der Internet-Exchange ist eigentlich genau das Gleiche. Wir sind ja auf der LAN-Party, wir sind im gleichen Layer-2-Segment. Wir sprechen immer noch mit unserem direkten PIER WGP. Dementsprechend lernen wir auch die Route gleich mit dem gleichen AS-Pfad. Aber jetzt könnte man natürlich argumentieren, und das ist eine sehr große Philosophiefrage, dass eben das Problem ist, dass die Route exakt gleich aussieht, wobei ja eigentlich der Internet-Exchange technisch geringerwertig ist. Und ich weiß, Bundes-Eis, als der PNI, weil der PNI ist dedizierte Kapazität auf einem dedizierten Kabel. Der Internet-Exchange ist eine LAN-Party, da ist jeder drauf und irgendwer stolpert immer über das Kabel. Um das zu lösen, gibt es verschiedene Aufgaben. Alle, die schon mal Network-Engineering gemacht haben, werden Local-Pref kennen. Ich kann also zum Beispiel sagen, mein PNI dem gebe ich jetzt einfach eine höhere Präferenz und sagt, der ist besser. Ich weiß, da gibt es technisch sehr viele Meinungen zu. Ich behaupte auch nicht, dass das die Beste wäre, es ist eine Möglichkeit, eben so eine Entscheidung im Internet zu treffen. Und das ist eben genau das, was Network-Engineers den ganzen Tag machen, sich überlegen, wie können wir sowas gestalten. Damit hätten wir, glaube ich, alle drei Varianten einmal technisch einfach und ein technisch bisschen BGP-Details gezeigt. Ich würde den neuen nochmal von Zwischenfazit reinholen. Das ist mit der Local-Prefgebühr der böse Kommentarige. Ja, ich glaube auch. Also Zwischenfazit, da ist eine Internet, wo man sich einsteckt und dann ist fertig, gibt es nicht, sondern man muss sich das selber von Hand zusammenbauen, man muss einen Transit haben, wenn man nicht groß genug ist, dass man auf der Welt alles über Peerings erreichen kann. Man muss sich Peers suchen für die Verbindungen, die einem wichtig sind, wo man die Bandbreite braucht, wo man es im Sinn macht. Direkte Verbindungen sind gut für die Resilienz des Internets und auch für die Ausfallsicherheit für Kapazitäten, alles Mögliche. Es ist aber gleichzeitig ein Trade-off, weil Verbindungen, Kosten, Geld sind kompliziert, man muss mit Leuten reden, man muss sich um die Kabel kümmern und so weiter. Das ist das Zwischenfazit bis jetzt. Noch mal eine kleine Übersicht, wie das dann jetzt aussieht. Wir bauen uns jetzt einen kleinen ISP. Die Unicorn Internet GmbH hier in der Mitte. So, dann haben wir irgendwie einen Transit-Provider, haben ein paar Kunden und wir haben Peers. Und dann gibt es jetzt quasi hier einen orangenen Fall für meine eigenen Routen und einen grünen Fall für die Full-Table sozusagen. Mit dem Peer tauscht man quasi jeweils die eigenen Routen aus. Also ich, meine eigenen und die von meinen Kunden schicke ich dem Peer. Und der Peer schickt mir genauso seine und entgegengesetzt des Announcements fließt dann quasi der Treffig zu diesen Zielen. Mit dem Transit ist quasi andersherum. Dem schicke ich meine eigenen Routen. Er schickt mir aber eine Full-Table und garantiert mir sozusagen, dass ich alles im Internet erreiche. Deswegen schicke ich quasi die Ziele, die ich über den Transit erreichen kann. Also die Pakete dahin. Gleichzeitig fließt dann aber auch Geld von mir zum Transit, weil er mir die Leistung ja zur Verfügung stellt, dass ich von ihm die globale Internet-Routing-Tabelle bekomme. Und dass er mir gleichzeitig garantiert, dass meine Pakete irgendwie ans Ziel kommen. Und dafür sorgt, dass meine Announcements überall verbreitet werden. Und genau die gleiche Beziehung hat jetzt quasi unsere Unicorn-Internet-GmbH mit dem Kunden. Die komplette Table geben wir den quasi wieder weiter und wir nehmen die Announcements, die Routen von denen an. Ich frage, wir brauchen ja noch IP-Adressen und eine AS-Nummer. Wo kriegen wir die her? Also zum Beispiel in so ein IPv6-Netz, mit dem wir dann unsere Kunden nummerieren können. Da gibt es in den, ich glaube, den USA die IANA, die Internet Assigned Numbers Authority. Weil es politisch so ein bisschen schwierig ist, dass eine große Behörde da die Hand drauf hat, die Adressen fürs Internet zu verteilen, ist das aufgesplittet in Regional Internet Registries. Das sind fünf Stück. Und die wiederum geben lokalen Local Internet Registries Präfixe aus dem Block, den sie von der IANA bekommen haben. Das heißt, es sieht irgendwie weltweit ungefähr so aus. Da sind eben diese fünf drauf. Für Europa zuständig ist in dem Fall die RIPE-NCC. Das heißt, wir würden jetzt mit unserem kleinen Unicorn-Internet-GmbH zur RIPE-NCC gehen. RIPE steht für eine französische Abkürzung, die ich jetzt nicht schlachten werde. Gehen da hinten und sagen, Guten Tag, wir haben gerade einen Internet-Provider gegründet. Wir bräuchten einen IPv6-Präfix und wir bräuchten eine AS-Nummer. Und dann würde die RIPE eben aus diesem Block, den sie von der IANA, also ein Stück von dem Kuchen, den sie von der IANA bekommen hat, quasi in ein kleineres Stück aufteilen und an uns weitergeben. Und genauso mit den AS-Nummern, die RIPE hat eine AS-Nummern Block zugeteilt und gibt uns daraus eine freie AS-Nummer. Und dann ist Achievement unlockt. Wir sind quasi Internet-Service-Provider beziehungsweise sind eine Leer geworden. Genau. Und mit diesem Präfix können wir jetzt quasi unsere Kunden nummerieren. Das heißt, wir würden jetzt zum DSL-Anschluss oder so zu Hause oder zum Glasfasern-Anschluss würden wir 1-64 zum Beispiel zuteilen aus diesem Bereich, den wir von der RIPE bekommen haben. So, jetzt haben wir Adressen und jetzt können wir die tauschen. Mein Präfix mit deinem Präfix. Geile Tiktok. Ja, genau. Warum würde ich das eigentlich tun wollen? Wir haben es ja vorhin schon mal kurz erklärt, aber vielleicht nochmal ein bisschen grafischer dargestellt. Wir sind hier unten links unser ISP und wir möchten irgendwie den ISP auf der rechten Seite erreichen. Jetzt hätten wir in einer Welt, in der es nur Transit gäbe, geben wir quasi das an unseren Tier 2 Transit, der gibt es dann an irgendein anderen Tier 1 Transit weiter, der gibt es dann an einen dritten Tier 1 Transit, Provider weiter. Das ist dann, wenn ihr mal ein Tracerot macht, das sind dann meistens die ganzen Hops dazwischen mit irgendwelchen unterschiedlichen IP-Adressblöcken und irgendwann kommt es dann bei dem ISP auf der anderen Seite an. Aber, wenn es dann mal irgendwo auf dem Weg Packet loss ist oder dann sehe ich das nicht, ich habe keine Möglichkeit, ich gehe vielleicht nochmal zurück, ich habe keine Möglichkeit aus meiner Perspektive technisch zu sehen, dass dieser Link zwischen Tier 1 und Tier 1 hier irgendein Problem hat. Ich sehe nicht, ob das Interface ausgelastet ist, ich sehe nicht, ob das irgendwelche Fehler-Counter fliegt, ich sehe nicht mal, ob es runtergefallen ist oder nicht, sondern ich muss im Endeffekt den ganzen Weg dadurch vertrauen, dass es funktioniert und dass, wenn da irgendwas kaputt geht, dass die Änderung auch sofort an mich unten an dem ISP weiterpropagiert wird über den Dritten oder vielleicht auch eine Viertepartei. Das heißt, wir haben eigentlich schon allein ein Problem der kurzen Wege auf organisatorischer Sicht. Wenn da jetzt irgendwas in der Mitte kaputt ist, muss ich, weil ich ja nur eine Kundenbeziehung mit dem Tier 2 habe hergehen und dem Tier 2 klarmachen, hey, irgendwo in deinem Netz zwischen den Dritten ist ein Problem, dann muss der da hingehen, das irgendwie entsprechend entstören lassen oder vielleicht umruten und irgendwann habe ich dann dieses Problem gelöst. Wenn ich jetzt stattdessen eine direkte Verbindung habe über ein Peering, sei es jetzt ein PNI oder Internet Exchange, habe ich natürlich viel mehr Kontrolle darüber. Ich habe immer eine Beziehung mit meinem direkten Peer, mit dem ich eine BGP-Session aufbaue und Routing-Information austauscht. Ich habe meistens auch eine kürze Relatenz, da kommen wir nachher noch drauf, wo es da Ausnahmen gibt. Aber ich habe auf jeden Fall sehr viel mehr in der Kontrolle. Ich kann sofort sehen, ob da Packet-Loss ist, ob das Interface-Fehler schmeißt oder ob es einfach nur voll ist. Und meistens ist es auch günstiger, zumindest wenn man ganz gut einkaufen kann. Es gibt Leute, für die mittlerweile Transit noch billiger geworden ist, aber Peering ist auf jeden Fall zumindest kommerziell gleichwertig. Und auch wenn ich dieses Argument persönlich nicht teile, weil es immer noch das Internet ist, aber wir haben natürlich nicht das Thema, dass sich jetzt irgendwie hier jemand zwischen Tier 2 und Tier 1 reinstecken könnte, sein Schnüffelstück anpacken und gucken, ob da irgendwo was dafür Pakete durchgehen. Die sind natürlich hoffentlich everschlüsselt, aber man könnte argumentieren, dass eben durch diese direkte Verbindung eine deutlich höhere Sicherheit gewährleistet ist. Da kommen häufiger mal Leute mit dem Argument, ihr könnt euch eure eigene Meinung dazu bitten. Technisch sieht es ja, wie bereits erwähnt so aus, dass es eben auf dieser Lahn-Party und auf dieser Lahn-Party haben wir im Endeffekt ein Peering-Lahn, also es ist wirklich nichts anderes als würdet ihr euch in ein Switch einstecken und wir gehen dann eben her, ernaunzen dem Peer unsere Route, unser Slash 32 und der schickt dann all den Verkehr darüber, wenn alles richtig konfiguriert ist. Jetzt muss so sich das natürlich auch wieder dieses Thema von vorhin vor Augen führen. Das skaliert auch irgendwie nicht, weil ich muss ja trotzdem mit jedem dieser 75.000 großen Internet Exchange in Frankfurt nehmen, da sind über 1000 Teilnehmer angeschlossen, mit denen müsste ich alles eine BGP-Session aufbauen. Die muss ich in irgendeiner Form konfigurieren, ich muss die warten, ich muss die dokumentieren und wenn sie kaputt geht, muss ich mich darum kümmern. Das macht natürlich total Sinn zu allen Netzbetreibern, zu denen ich viel Verkehr schiebe, was weiß ich, eine Facebook, eine Google oder was auch immer, die Leute gerade auf Netflix schauen, da mache ich das gerne. Aber dann sind da ja noch trotzdem irgendwelche kleinen Provider, mit denen ich vielleicht ein, was ich trotzdem über dieses direktere Peering ansprechen möchte, aber vielleicht einfach kein Bock habe, mich darum zu kümmern, das zu konfigurieren. Oder tatsächlich ist es auch eine technische Limitierung, dass ich nicht so viele BGP-Sessions auf meinem Router konfigurieren kann, bevor der langsam wird, weil auch für jede BGP-Session läuft im Endeffekt eine komplette State Machine, alle paar Sekunden durch, die muss funktionieren und die Ressourcen von so einem Router, der eben dieses Ganze, was wir hier erzählt haben und auch noch den Traffic-Vorschieben schon anstrengend. Deswegen haben sich schlaue Menschen ausgedacht, dass es im Endeffekt noch eine dritte Partei hier gibt. Es gibt den sogenannten Rout-Server. Der Rout-Server ist im Endeffekt nichts anderes als ein weiterer BGP-Speaker, der am Internet Exchange angeschlossen ist. Aber im Endeffekt, jeder Provider an dem Internet Exchange baut eine BGP-Session zu diesem Rout-Server auf und hat dadurch die Möglichkeit, im Endeffekt erstmal alle Routen dahin zu schicken. Der Rout-Server macht jetzt was, was man eigentlich BGP nicht tun sollte. Er modifiziert nämlich den AS-Pfad und wird darin nicht auftauchen. Das heißt, nicht wie beim Transit vorhin, wird ja erstmal dieses Rout-Service nicht auftauchen, sondern es wird für mich so aussehen, als hätte ich eine direkte Peering-Session mit dem Rout-Server. Das eben insbesondere dieses Problem löst, dass ich mit allen Peers am Internet Exchange eine Session konfigurieren müsste. Ist sehr angenehm, aber hat eben trotzdem Trade-Offs. Insbesondere natürlich, weil der weder von mir das Spiel betrieben wird, sondern eben von der dritten Partei dem Internet Exchange. Gleichzeitig könnte man natürlich argumentieren, wenn der Internet Exchange ein Problem hat, habe ich eh ein Problem und muss den Internet Exchange ausmachen. Insofern ist es ein Risiko, dass viele bereit sind zu tragen, insbesondere weil man eben auch wieder wie bei dem ganzen Thema eine Mischung aus der ganzen Geschichte spricht. Mit Google, Facebook, Netflix und Co. piele ich direkt am Internet Exchange mit irgendeinem AS in, was weiß ich, aber wer ist denn überhaupt an so einem Internet Exchange und wie kann man das rausfinden? Dazu gibt es ein tolles Tool, heißt peeringdb.com. Da könnte euch ohne irgendwelche Logins und Co. einfach mal drauf begeben und zum einen natürlich euren Lieblings-Internet-Exchange im wunderschönen Schwabenland suchen und sehen, wer bei uns connected ist. Dann seht ihr jetzt hier zum Beispiel im Stuttgart, das Akamai, Annexia, das Bellevue, Cloudflare und Co. mit dabei. Und ihr seht hier noch, ob die am Route Server pieren oder nicht. Also ob ihr die Routen quasi da schon direkt kriegen könntet, ohne mit denen zu kommunizieren. Und ihr seht hier noch, ob die Peering Policy Open Selective oder vielleicht sogar Restrictive ist. Zum Endeffekt heißt, dass die hier eine Selbstauskunft geben und sagen, wie gern sie pieren möchten, wie gern sie eine direkte Session aufmachen möchten. Zum Beispiel, wenn ich jetzt mit dem Bellevue pieren möchte, dann gehe ich an der Stuttgarter.exe, schreibe eine Mail wahrscheinlich an und dann kann ich da pieren. Wenn ich das jetzt vielleicht bei eine Annexia mache, dann evaluieren die das erste Mal und sagen halt, ich akzeptiere mal grundsätzlich nicht jeden. Und da gibt es eben auf jeder, auch auf der PeeringGB, wenn ich jetzt auf einen so ein AS klicken würde, gibt es immer eine Seite, auf der die Peering Policy steht. Wann die pieren, mit wem die pieren, warum die pieren. Es ist auch immer schön, wenn man dann mal anfangen möchte zu troubleshooting, was macht mein Home ISP eigentlich, mit wem piert der, an welchen Internet exchanges ist der. Und insbesondere auch, wenn man dann ein Transit verkaufen möchte, ist es vielleicht sinnvoll zu evaluieren, ob der jetzt tatsächlich mir ein qualitativ hochwertiges Internet mit vielen direkten Routen verkauft oder ob der quasi nun ein Reseller ist und eigentlich gar kein Mehrwert in der Kette bringt, dann kann ich nämlich einfach direkt zu seinem Upstream gehen und von dem Internet kaufen. Dann spare ich mir schon mal ein Hub, der eh nix macht. Ja, so viel mal so grundsätzlich zu Internet exchanges, wie man das tauscht. Vielleicht schauen wir uns nochmal den Internet an. Genau, also was besteht der Internet exchange selber? Im Prinzip ist es tatsächlich nur ein Switch, in dem man sich einfach einsteckt. Wie gesagt, da ist erstmal keine Magic dabei. Sobald das ganze Ding ein bisschen wächst, reicht ein Switch nicht mehr aus, weil nicht mehr genug Ports, weil man vielleicht eine zweite oder dritte Location haben will. Als Exchange will man natürlich irgendwie Locations erreichen, wo potenziell viele Piers sich einstecken können, ohne dass man dann nochmal groß kompliziert Leitungen mieten muss. Dann hat man sich da so eine Piring-Lan-Wolke, so eine Layer 2-Wolke über seine Standorte auf. In der Regel hat man dann halt so 2-3 Standorte in einer Metro-Area, nicht zu weit voneinander entfernt. Und dann hat man dann halt noch Serverinfrastruktur dranhängen, weil wie gesagt, braucht es ja auch so Sachen wie den Route-Server. Das ist aber noch nicht alles. Es kommen dann noch so Sachen dazu, die man erst mal vielleicht auch gar nicht auf den Schirm hat. Monitoring ist ein ganz wichtiger Punkt. Man muss ganz klar sehen, es gibt einen IXP-Portal. Da können sich quasi die Teilnehmer einloggen und sehen, wie viel Treffig sie da haben. Können irgendwelche Config-Änderungen machen Mac-Adresse oder sowas, also es wird auf Mac-Adressen gefiltert. Können mit Flow-Analyse-Tools sehen, zu welchen anderen Piers der Treffig hingeht, also mit welchen Piers sich das Piring lohnt. Es gibt ein Looking-Glas, um BGP-Probleme zu debuggen. Es gibt irgendwie noch ein Web-Server, weil man ja auch irgendwie eine Webseite haben will. Es gibt vielleicht auch noch irgendwie CDNs, die da hinten dranhängen an dem Internet Exchange. Das ist alles so dann quasi die ganze Sekundärinfrastruktur, die das dann eigentlich auch ausmacht. Aber was bei uns jetzt konkret dabei ist, kommt gleich noch, ganz kurz vorher noch ein bisschen zu unserer History gegründet wurde. Das ganze Ding 2005 ist also schon vergleichsweise alt. War im Prinzip so ein Community-Projekt von kleinen ISPs aus der Region, also die kleinen DSL-Provider in der Region, im Stuttgarter Großraum und auch Stadtwerke und sowas, wurde dann nie richtig groß, wurde dann ein bisschen vernachlässigt und lief halt so vor sich hin, ging nicht von allein kaputt. Und dann war 2020 die Pandemie und Leute brauchten irgendwie ein Projekt für, wenn man da heim sitzt und nicht mehr ins Kino gehen kann und wurde dann quasi einmal komplett neu aufgesetzt, durchautomatisiert, die Hardware ausgetauscht, die vor allem neu hochgezogen und alles nochmal neu sortiert, auch organisatorisch neu sortiert und wird im Prinzip immer noch, wie damals auch schon von Ehrenamtlichen betrieben, also insgesamt sind wir so ein Team von, ich würde mal sagen, 6 bis 8 Leute, die so das meiste daran machen. Es gibt noch ein paar Leute, die so ein bisschen mithelfen. Angeschlossen sind aktuell 29 GB mit 875 GB Kapazität. Darunter 6 mal 100 GB Ports. Internet exchanges messen sich gerne irgendwie in Treffig. Hängt ein bisschen damit zusammen, dass je mehr Piers da sind, je mehr Treffig da drüber geht, desto attraktiver wird der natürlich für neue Piers und das ist dann ein bisschen so, je größer der ist, desto mehr Gravitation hat er um neue Piers anzuziehen und desto das Limit ist im Prinzip dann halt das Potenzial der Metro Area, sag ich mal, die ISPs, die dann dort sind. Die Hardware selber sind 3 Racks mit Dingen, die Strom brauchen. Ein bisschen konkreter sieht's so aus. Eigentlich sind es 4 Racks, es gibt noch ein Meet Me Rack, da kommen quasi ganzen angeschlossenen Provider mit ihren Kabeln an, das ist der Internet exchange. Auf dem Bild seht ihr in der Mitte, das ist da wo die ganzen wunderbar aufgeräumten gelben Kabel hingehen. Es sieht mittlerweile ein bisschen schöner aus, hoffe ich. Und dann braucht man, wie gesagt diese ganze Sekunde der Infrastruktur, da hängt noch eine fette USV drin, man hat noch einen Router für die ganze Infrastruktur, die hinten dran hängt, weil die, also nur davon, dass sich mein Server am Internet exchange einsteckt, ist der ja noch nicht in der ganzen Welt irgendwie erreichbar, da braucht man irgendwie noch einen Router. Man hat noch einen Haufen Spareparts, also für den Router und den Switch gibt's quasi noch einen Sparepart, der direkt im gleichen Rack schon steht, wenn das irgendwie uns um die Ohren fliegt, dann wird es einfach geswockt. Und dann haben wir noch einen ganzen Haufen Zeugs, was Caches angeht. Also ihr habt ja in der Piring-Develiste irgendwie zum Teil dann auch Space gemietet haben und die sind jetzt hier quasi farblich voneinander unterschieden. Das sind meistens ein paar Serverchen mit ein paar Höheneinheiten und einen Router dazu. Und dann gibt's noch einen Provider, der sehr viel Hardware hingestellt hat und sehr viel Wert auf Sicherheit legt, da ist dann quasi das Rack irgendwie zu und hat eine Sicherheitskamera drin und all diese Dinge. Und insgesamt kommt man so halt auf diese 7KW Stromvorbrauch, die das ist. Genau, das ist im Prinzip das. Jetzt ist die Frage, weil ich gerade schon gesagt habe, die Größe der Internet Exchange wird das zu mehr Piers zieht der an. Wie groß muss der sein und wie viele Exchanges braucht es? Genau, jetzt kommen wir in den Teil mit ganz viel Meinung, aber nichts ist da trotz, möchte ich euch unsere oder insbesondere meine Gedanken dazu nochmal näher legen, ich möchte das nicht für neune sprechen. Das ist ein super wichtiger Teil unseres Internets. Abridgen eben diese Gap, ich weiß nicht wie ich das so schön auf Deutsch sagen würde, zwischen dem PNI, der halt einfach nicht skaliert und dem Transit Provider, wo ich halt extrem viel vertrauen in eine einzelne Entität stecken muss. Wir haben dadurch mehr oder weniger die gleichen Vorteile wie von einem PNI, aber eben einen kleineren Teil der Kosten und insbesondere was so ein Internet und regionale Communities, also jeder zumindest in Deutschland Internet Exchange trifft sich einmal im Jahr mindestens für ein sogenanntes Beering, das ist dann wie Peering nur mit Bier und da vernetzt man dann Menschen miteinander und es hat insbesondere für kleine Netzbetreiber, also wie Neuner gerade gesagt hat, das kleine Netz aus der Region, das in seinem Kaff irgendwo 10 Leute mit DSL versorgt, trotzdem eine Möglichkeit eben gesehen zu werden, mit den Leuten ins Gespräch zu kommen, da vielleicht auch einen Austausch hinzubringen und wenn zum Beispiel der große Netzbetreiber aus der Region irgendwas in dem kleinen Dorf möchte, dann können die sich über diesen Internet Exchange treffen, das ist also super wichtig und auch für das Internet und für seine Diversität und Resilienz, die wir gelernt haben, es gibt nicht das eine Internet, sondern es gibt eben viele Asse, die irgendeinander verbunden werden müssen, wenn wir uns überlegen, die würden auf einem großen Switch, auf einen Internet Exchange zu reagieren, idealerweise haben dann alle noch zu einem anderen Internet Exchange mehr als genug Bandbreite, aber je mehr Leute wir quasi in diesen einen Switch einstecken, desto größer ist der Knall wenn es kaputt geht und das müssen wir uns einfach vor Augen halten. Dementsprechend hat so ein Internet Exchange auch eine hohe Verantwortung, da ist ein professioneller Betrieb notwendig. Ein Internet Exchange als solches zu betreiben technisch ist nicht aufwendig, den Stuttgarter jeder und jeder von euch hier, wenn er mal einen Wochenende zu viel Zeit hat. Das Wichtig ist, dass diese professionelle Betrieb gewährleistet ist, weil das Internet in Gänze ist, das hier relevant ist. Diese 122 Gigs, die wir zum Beispiel vorhin gezeigt haben, waren bei einem Fußballspiel, da schauen 250.000 Menschen Fußball gerade, kann man jetzt nicht drüber streiten, ob das wichtig ist oder nicht, aber irgendwer verdient damit trotzdem Geld und irgendjemandes Gehalt wird dadurch bezahlt und wenn wir das eben nicht professionell betreiben, dann bringen wir einen Risiko und vielleicht gibt es auch wichtigeren Verkehr als Internet, der darüber ausgetauscht wird. Also wie viele brauchen wir eigentlich davon? IXP pro Dorf ist wahrscheinlich witzlos, weil dann gibt es da zwei Piers und die hätten sich auch einfach eine PNI stecken können. Einer pro Land ist eher schwierig, denn geht der eine Internet Exchange aus, haben wir ein Thema. Das heißt, es ist so eine Abwägungssache, da gibt es keine richtige Meinung für. Grundsätzlich heißt, es ist meine persönliche Meinung dazu, regionale und voneinander technisch und vor allem auch organisatorisch unabhängige Internet Exchanges sind gut für das Internet. Warum betrohne ich das so mit diesem technisch? Es gibt im Internet mittlerweile noch eine dritte Variante, eine vierte Variante, die ich euch so ein bisschen außen vorgelassen habe. Und das ist sogenanntes Remote Peering. Das könnt ihr euch vorstellen wie eine Landparty, eine in Stuttgart und eine in New York oder in Frankfurt und in New York und irgendjemand hat dazwischen ein ganz langes Thema gezogen. Die sind trotzdem im gleichen Layer-2-Segment. Jetzt jeder, der hier irgendwie schon mal Netzwerke gebaut hat, hat irgendwann mal gelernt, Layer-2-Segmente über zwei Standorte hinwegzustreiten, ist eher nicht so das gute, steckt da irgendwo ein Router dazwischen. Aber aus irgendeinem Grund finden wir Netzbetreiber, das ist alle toll, wenn wir das im Internet machen und Remote Peering kaufen. Dieses Thema führt zu technischen Herausforderungen, nämlich dadurch, dass es das gleiche Layer-2-Segment ist, dass es nicht kein Trance da ist in meinem IS-Pfad. Ich sehe nicht, dass da irgendwo ein langes Kabel zwischen Stuttgart und New York ist. Ich sehe auch keinen Hopp im Trace-Route. Ihr habt keine Möglichkeit, quasi zu sehen, das sind irgendwie fünf Hopps. Das ist irgendwie nicht optimal, sondern das einzige, wo ihr eine Chance habt, das technisch zu erkennen als Nutzer, ist, wenn da irgendwie die Latents von einem Hopp in Stuttgart zu dem anderen Hopp, was weiß ich, ein paar 100 Millisekunden ist, das wird nicht in der gleichen Stadt stattfinden und das ist keine Möglichkeit. Die Internet Exchange remote peering anbieten, basteln dann da was drum herum, dann gibt es da irgendwelche Communities, die dran geklebt werden und Co. Manche schreiben das in irgendwelche Listen. Das ist auch alles grundsätzlich ein lösbares Problem, was ich hier vorstelle, aber es beträgt unglaublich viel Arbeit, sich darum umzuengineern, wo hingegen alles, wenn es einfach sauber wäre, wenn wir lokale regionale Internet Exchange hätten, Transit-Provider hätten und Pni's hätten, dann wären unsere IS-Pfade sauber. Wir hätten die Entscheidung einfach selbst treffen und wir hätten nicht das Problem, dass wir da drum herum arbeiten müssen und zwar gibt es natürlich auch keinen Standard dafür, sondern jeder hat seinen eigenen Standard und dann bekommt der Next, dann baut sich noch ein Standard und somit muss man da einfach in verschiedensten Varianten drum herumarbeiten und ein Problem, das eigentlich durch BGP schon gelöst war. Deswegen meine Meinung, remote peering nixgut. Das war es dann auch schon zu dem Stuttgarter X, zu remote peering in Gänze und auch einiges an Zeitfragen und natürlich auch gerne andere Meinungen. Vielen Dank. Da habt ihr wirklich noch einiges Zeit übrig, das finde ich sehr schön. Ich bin sehr gespannt auf die Fragen. Wir hatten jetzt Fragen, ich komme zu euch mit dem Mikrofon und die zwei antworten dann. Also was es schon immer mal von dem Internet Exchange wissen wollte, jetzt können wir aus dem Net-Kestchen plaudern. Aus Interesse, was läuft eigentlich auf den IXP? Gibt es irgendetwas Standardisiertes oder macht es hier der IXP einzeln? Was macht ihr auf dem IXP? Ihr habt ja gesagt, dass ihr die VMs manchmal neu aussetzen müsst. Was läuft denn auf die Fans? Bei uns ist es ein Proxmox, das sind ein paar Linux-Vorms startet. Ich glaube mit Debian. Aber das macht jeder und jeder anders, wie er halt möchte. Im Endeffekt irgendwelche Unix-Zuiden-Computer. Ab wann lohnt es sich an ein Internet Exchange zu gehen? Wenn ich jetzt irgendwie ein kleiner ISP bin und ich habe da drei Leute an DSL, dann bringt mir der Internet Exchange ja noch nicht, dann wahrscheinlich eher nicht. Dann würde ich eher zum Transit Provider gehen und werfe den Geld hin und dann habe ich Internet und bin glücklich, oder? Genau, also ich glaube, wichtig ist erst mal zu sagen, am Internet Exchange kriegt man nicht Internet, sondern man kriegt halt nur die Routen der Piers, die dort angeschlossen sind. Als ganz kleiner würde ich halt zum Transit gehen und der löst das Problem für mich, ohne dass ich selber einen Haufen Know-How aufbauen muss. Aber es kommt auf ganz viele Faktoren drauf an. Es kann jetzt zum Beispiel sein, dass das Rack, in dem ich meine Hardware stehen habe, irgendwie anderthalb Meter neben dem Exchange steht und mich das Kabel quasi nix kostet, dann könnte es vielleicht sogar wieder Sinn machen, da hinzugehen, weil dann kriege ich auch den CDN-Traffic zum Beispiel los, diese Sachen. Also es kommt ganz arg auf den Einzelfall drauf an. Vielleicht da noch als Kommentar dazu. Transit wird meistens in Megabit, also Euro pro Megabit bepreist oder hoffentlich Cent pro Megabit. Als kleiner ISP in der unterversorgten Region dann ungefähr 1,50 Euro pro Megabit. Als größerer ISP zahlst du unter 10 Cent pro Megabit. Und das ist dann halt eben eine Sache, die du für dich auch kommerziell mal beleuchten musst, wie das eben lösbar ist. Es gibt keine pauschale Antwort dafür. Und auch der Internet Exchange in deiner Region kann eine Preisspanne von bis haben, je nachdem... Okay, danke für den Vortrag erstmal. War sehr interessant. Aber eure letzte Folie klingt ja so, also die vorletzte klingt so, dass ich remote peering super die doofe Idee. Aber das machen ja Leute. Also warum machen die das? Was sind die Vorteile? Also wenn ich jetzt so ein mittelgroßer ISP in New York bin und ich kann mich da anschließen und kriege da halt irgendwie ganz viele Piers aus allen möglichen Ländern, ohne dass ich jetzt quasi nochmal separat ein Haufen Geld gegen den Transit werfen muss und ich bin nur dort, dann kann es vielleicht sogar Sinn machen. Wenn ich jetzt aber zum Beispiel ein bisschen größer bin, dann passt jetzt ganz schnell, dass ich halt Piers kriege, die nah bei mir sind vom gleichen Netz, mit dem ich pieren will, die weiter weg sind und dann kann ich quasi nicht unterscheiden, welches ist jetzt der, dem ich meinen Treffi geben will? Da habe ich keine Metrik für und da wird es dann halt schwierig. Aber es gibt durchaus Use-Cases, wo das Sinn machen kann. Vor allem halt in irgendwelchen Regionen, die weiter abgelegen sind, wo ich dann halt quasi diese ganz große Peering-Lanen bekommen, in dem ich mich irgendwo an einem kleinen ISP, irgendwo weiter draußen einstecken kann. Ich glaube grundsätzlich im Markt hört es immer so, dass die Leute abhängig von der Größe ihres Netzes quasi in der unterschiedliche Meinung zu dem Remote Peering haben. Als kleiner, der eh nur in einer Region ist, ja cool sehe ich die Welt über einen Port, als jemand, der weltweiten Netz betreibt und irgendwie weltweit Routing-Entscheidungen treffen muss, ist das extrem störend, weil du eben dieses ganze Drum-Drum-Engineern hast. Hi, gibt es in der L2-Wolke irgendwelche Spielregeln, was maximale Paketgrößen angeht oder darf man das als Peer untereinander auskaspern? Also normalerweise sind Exchanges auf 1.500 Bytes pro Frame, also was man halt so üblicherweise kennt. Es gibt dann aber Möglichkeiten auch zum Beispiel in Private-V-Lanen zu schalten zwischen zwei Peers. Da geht es dann noch mit größeren Paketen zum Beispiel. Außerdem gibt es ein Haufen Spielregeln für ich darf da nur mit meiner Mac-Adresse irgendwie kommunizieren und nicht die Mac-Adresse absichtlich oder ausversehend von anderen irgendwie verwenden. Da wird auf jeden Fall strikt gefiltert. Zum Beispiel, wenn ich mich auf jeden Fall strikt gefiltert so Sachen halt. Und auch welche Protokolle, also normalerweise gibt es da irgendwie IPv4, IPv6, ARP, BJP. Das ist es. Manchmal, also an jedem Exchange kommt man vorbei und macht dann irgendwie noch Spanning-Tree an und möchte nur mit der ganzen Welt Spanning-Tree sprechen. Mittlerweile können wir das technisch filtern. Andere Leute haben es auch schon geschafft so größere Netze zu kriegen, durch Annektieren mit besseren Rootbridge. Dann kommt man erst mal in das Quarantäne-V-Lan und dann wird da mal geguckt, ob man sich an die Spielregeln hält und wenn ja, dann darf man ins richtige V-Lan. Erst mal danke für den Talk. Zu Beginn wurde ja gesagt, dass das mit dem Local Prep vielleicht eher nicht so die schöne Lösung ist. Was wären denn so Beispiele für eine vielleicht schönere Lösung? Ich möchte da zum einen auf den Talk von Gerd Düring hinweisen auf der Denok Local Prep Considered Evil, der das sehr gut erklärt und besser als ich jetzt hier eine Antwort könnte. Der andere Schalter in BGP wäre zum Beispiel MED, den man nehmen könnte, um das zu machen. Also den Multiple Exit Discriminator. Akronome. Aber das ist wirklich Geschmacksrichtung kann man sich ausschauen. Manche machen dann da irgendwie SDN und machen dadurch magische Routenselektierung. Also musst du für dich entscheiden. Es kommt ein bisschen darauf an, wie man seine Policy strikt. Wenn ich sage, ich will jetzt wirklich das PNI hart priorisieren, dann kann ich das mit der Local Prep machen. Wenn ich aber sagen will, ich kann ein bisschen die Chance geben zu sagen, ich hätte es jetzt aber gern auf dem Weg, auch wenn du den eigentlich besser findest, dann kann ich auch mit dem MED arbeiten und kann sagen, ich setze die hier ein bisschen besser und da ein bisschen schlechter. Aber letztendlich kann der Pier dann auch über seine IS-Pfadlänge dann noch bestimmen. Irgendwie so gibt es Möglichkeiten da, Einfluss zu nehmen. Ja, vielen Dank. Ich wollte noch fragen, kann man Internet machen, irgendwie ausprobieren? Also, um herauszufinden, was man das machen kann. Ja. Es gibt zwei Varianten das zu tun. Zum einen hält ich nichts davon ab, zur RIPE zu geben. Und da tatsächlich nicht. Und es machen auch sehr viele Leute. Ich habe da mal einen anderen Vortrag darüber gehalten und die Leute gebeten, das nicht zu tun, weil es eben das Internet ist, an dem viel mehr als nur ein Hobby hängt. Es gibt in Deutschland zumindest, ich weiß nicht, ob es international ist, das DN42.net, glaube ich, ein Video, das man mit Leuten pieren kann, wo du dann auch mit Leuten pieren kannst und Co. hast und quasi von der DN42 RIPE dann halb vier Dressen kriegst. Also, das wäre meine Empfehlung, wenn du mal rumspielen willst mit anderen. Ansonsten natürlich lokal einfach irgendwas aufsetzen, paar VMs. Es gibt genug Tools, mit denen du dir auch eine Fulltable quasi in dein Lab ziehen kannst. Aber ja, DN42, wenn man empfehlen kann. Ihr habt noch eine Frage. Ihr habt ja gesagt bei euch, wir haben ja noch ein paar CDNs, die sich bei euch, die bei euch Rechner im Rack stehen haben. Mir ist nicht ganz klar, wer hat da jetzt den größeren Vorteil davon, kommen die CDNs zu euch und sagen, wir wollen gerne hier unseren euren Kunden schnelleres Internet bieten oder sind es eher die ISPs, die bei euch angeschlossen sind und sagen, wir wollten einen direkten Zugriff aufs CDN haben. Wie funktioniert das? In der Regel fängt es damit an, dass man irgendwie bei irgendeinem technischen Internet bieten kann. Das ist ganz häufig, fängt es einfach über persönliche Kontakte an und man redet einfach mal drüber. Aber ich würde sagen, generell haben eher die ISPs dann Interesse dran und kommen dann auf einen zu. Es gibt dann auch Fälle, wo ein kleinere ISP sagt, wir haben wahnsinnig viel Treffig mit Cloudflare oder Akamai oder so. Könnte die mal ansprechen, weil wenn wir die ansprechen, dann sagen die ihr seid nur so ein kleiner Krauter, dann stellen wir da ein paar Server hin als Cash. Wahnsinnig viel ist da eine relative Frage, die eben auch in dieses kommerzielle Freund reinspielt. Wenn du ein kleiner Netzbetreiber bist, der ein Euro pro Mega bezahlt und dann ein Gigabit zu Akamai hast, dann zahlt so ein Transit Provider jeden Monat tausend Euro. Für Akamai ist ein Gigabit ein Rundungsfehler, die machen 200 Terabyte Peak. Das taucht nicht auf und dementsprechend ist es eine kleine Genossenschaft, die sich da zusammentrifft und eben gemeinsam höhere kommerzielle Interessen für den anderen darstellen kann. Nachdem hier da doch einiges an InternetTraffic drüber läuft, über die Frage dann, wie oft kommen denn da so Leute vorbei, da gerne alles mitlesen würden? Gar nicht. Also an großen Passiertes, das ist auch relativ bekannt, dass das passiert ist, war auch in den ganzen Norden aber jetzt so in kleinen Regionalen nicht. Wir sind auch keine Critis zum Beispiel. Ich glaube, Critis bist du ab 100 Piers oder sowas. Ja, ich glaube, da ändert sich gerade die EU-Regulierung und das ist alles ganz kompliziert und alles ganz schlimm, aber man muss relativ groß werden, dass man dann irgendwie... Was mich interessieren würde, hat das ja gerade besonders gesagt, dass der professionelle Betrieb von so einer AX extrem wichtig ist. Wie macht ihr das mit 6 ehrenamtlichen Leuten, 6 bis 8 ehrenamtlichen Leuten, weil ich könnte mir das sehr schwierig vorstellen, da zum Beispiel einem 24-7-Support hinzukriegen und ähnlichem. Das kriege ich bezahlt, schon schwierig hin. Ja, das ist eine sehr gute Frage. Wir haben damals 2010, als es neu gebaut wurde, haben wir quasi die Piers mal zusammen getrummelt, an einen großen Tisch gesetzt und gesagt, also es gibt folgende Möglichkeiten, entweder wir machen den großen Exchanges in Angebot, ob die das machen, oder wir machen es selber und dann wird es halt so, wie es wird mit den Mitteln, die wir haben. Oder was war noch die dritte Option, ich weiß gar nicht mehr, es gab noch eine dritte Option. Und die Piers haben gesagt, das ganze Ding ist für uns klein genug, dass es nicht mission critical ist und wenn es jetzt mal einen Ausfall gibt, dann wird uns das verziehen sozusagen. Und wir sollen es auf jeden Fall weiter selber betreiben und auf gar keinen Fall in fremde Hände geben. Das war der Punkt, die da herrschte. Da waren wir bei 2 Gigabit Traffic. Genau, und seither ist es halt extrem gewachsen und ja, also wenn es jetzt noch ein Stück weiter wächst, dann kommen wir tatsächlich irgendwann an den Punkt, wo man vielleicht mal jemand braucht, der einfach 24, 7 irgendwie erreichbar ist, beziehungsweise halt so was dann outsourcen kann, an vielleicht einen der Teilnehmer, die da eh dran hängen, eh irgendwie involviert sind. Wobei, ich glaube, das ist auch der Punkt, ich betreibe beide jetzt nicht kleine Netze im Großraum Stuttgart. Wenn das Ding kaputt geht, haben wir dann eine sehr hohe Eigeninitiative, das Ding wieder zu betreiben. Genau, ja. Und das ist auch mit allen anderen Teilnehmern da quasi so. Es funktioniert mit Ehrenamtlichen, aber das hat eine Grenze, um diese Grenze eben zu überschreiten, musst du kommerziell irgendwann erstmal erfolgreich werden. Und aktuell, ganz transparent, ist es so, dass der RX eigentlich wirklich großen Teil, ich würde sagen, über 80 Prozent der Umsätze kosten und die weitere Infrastruktur setzt. Und da jetzt mal die Kohle zu finden, jemand Vollzeit zu bezahlen, ist noch ein paar Schritte weg. Wie sieht das denn aus mit rennphysikalisch? Also wo stehen dann eure Racks? Wie kommen die Kabel zu den kleineren ISPs? Magisch auftauchend tut's wahrscheinlich nicht. Genau, leider nicht. Die Racks stehen in Stuttgart im Industriegebiet Zettachring Versahnenhof, wie auch immer in einem kleinen Rechenzentrum, umgeben von ein paar anderen kleinen Rechenzentren, das ist ganz praktisch. Weil dadurch, dass da halt einige auf dem Haufen sind, kriegt man die relativ einfach connected. Also da gibt es Kabel zwischen den Rechenzentren, die man sich dann irgendwie für ein paar Euro im Monat mieten kann als ISP, der da irgendwo in der Nähe ist. Und die kommen dann halt in der Regel irgendwie auf diesen ODFs, also auf diesen Patch-Paneln raus. Ja, je nachdem, da gibt es verschiedene Konstrukte. Das macht es dann Sinn, dass man halt noch weitere Location erschließt, um den Piers einfach zu machen, dort hinzukommen. Also ein AIX möchte halt eigentlich in allen Rechenzentren der Stadt vertreten sein. Das ist mehr oder weniger das Ziel. Noch ein technisches Problem zum Remote Peering ist, denke ich mal, zum Beispiel, ich habe irgendwie ein Streaming-Dienst mit Servon in Frankfurt und in New York und die sitzen da beide an diesem AIX dran und die Servon in New York sind halt überlastet. Und jetzt habe ich hier in Deutschland meine DSL-Endkunden, die schauen diesen Streaming-Dienst und im Zweifel schlubbern dann halt die Pakete einmal über einen Atlantik drüber, wo die Servon eh überlastet sind. Die interessiert es vermutlich eher weniger, dass da die Latentsröhre ist, aber funktioniert dann halt nicht und ich sehe halt nicht wo die Pakete hinfließen. Genau. Und gerade auch bei dieser Atlantik-Geschichte, du siehst halt auch nicht, wie viel Luftgrad noch über den Atlantik ist. Deswegen gibt es aber auch zum Beispiel viele CDNs, die halt mittlerweile anfangen, nicht reines BGP mehr als Entscheider zu treffen, ob ich den Verkehr jetzt aus Stuttgart, München oder Berlin liefe, sondern die nehmen dann eben, die machen zum Beispiel Akamai Pink, die Nameserver und entscheidet daraus, was der bestgelegene nächste Server ist, um eben sowas zu umschiffen. Wenn ich das damals richtig gelernt habe, kann man auch über falsche BGP- Announcements sehr viel kaputt machen und da gibt es jetzt, soweit ich das glaube ich weiß, Signierung für BGP. Könnt ihr da vielleicht noch was zu erzählen? Es gibt verschiedene Möglichkeiten. BGP-Sec hat sich bislang nicht so richtig durchgesetzt, was Leute machen, ist EPKI, also da gibt es quasi dann bei den Internet Registries gibt es ein signiertes, kryptografisch signiertes Objekt, da steht drin, diese AS-Nummer darf dieses Präfix ins Internet anounzen und damit sollen Hijacks quasi verhindert werden. Es gibt noch ein paar andere Eingriff-Szenarien, die damit nicht abgedeckt werden, da wird gerade daran gearbeitet mit, ich hab die vier Buchstaben schon wieder vergessen, Aspa. Danke, genau, Aspa soll noch ein paar Sachen abdecken, da kann ich dann quasi sagen, das sind meine Kunden und dann kann man sich den Baum daraus aufbauen und halt quasi gucken, ob der PIR mir anounzt, was er auch tatsächlich anounzen darf. Das sind Dinge, die auch die Routesauber ganz strikt machen, also die Routesauber gucken diese Sachen nach und wenn ich als PIR einem Routesauber Sachen anounze, dann gibt es eine ganze Liste von Sachen, die da gecheckt werden und es darf tatsächlich nur durch, was der Routesauber da quasi filtert. Das ist vielleicht noch so ein Pro-Augument für den Routesauber, weil du eben als kleines als deinem 10-Kunden DSL machen musst, vielleicht auch gar nicht die Kapazität für hast, dann pierst einfach mit dem Routesauber und der kümmert sich hoffentlich um Routing-Sekuritiv für dich. Habt ihr irgendeine lustige Story, wo mal irgendwas richtig schief gegangen ist? Also bei uns am AIX jetzt tatsächlich nicht, der läuft ziemlich gut. Es gibt interessanten Spaß mit diesen CDNs. Also die Server quasi, die jetzt hier in den zwei rechten Racks stehen, die kriegen wir halt von Firmen aus hauptsächlich Amerika geschickt, müssen mit denen zusammenarbeiten und Co. und das führt immer mal wieder zu interessanten Abstimmungsthemen, wenn da mal eine Hardware nicht richtig ankommt oder irgendwas oder in eine Konfig nicht passt. Aber da sind wir leider an NDAs gebunden. Deswegen können wir auch nicht Fotos davon zeigen. Aber es ist wirklich witzig lustig, ist noch nichts kaputtgegangen leider. Wenn was kommt, wir machen Talk. Also wenn die Spedition mal irgendwie echt teure Hardware einfach in irgendeinem Hof in irgendeinem Bauch in irgendeinem Stadt abstellt und man nicht weiß, wo, da steigt der Blutdruck. Also hier dieses, das rechte Rack wurde komplett in einem Dorf in einer SSB, Stuttgart-Straßenbahn-Enthaltestelle, nicht zu dem Provider geliefert, sondern einfach irgendwo auf den Wertstoffhof gestellt. Und wir mussten es dann suchen. Es war zum Glück, ihm ging es gut, aber es stand da einfach unbewachter für irgendein paar Plätze. Ich wollte noch fragen, ob man beim Stuttgart XX einfach so mitmachen kann und was man da tun kann oder ob er irgendwie Hilfe braucht oder wie auch immer. Also praktisch wäre es natürlich, wenn du irgendwie in der Region bist, dass... Ansonsten, es braucht halt Leute, die irgendwie dieses Netzwerk leer verstehen und können. Also es kommen jetzt demnächst noch mehr Switche dazu. Aktuell ist ja nur diese eine Switch. Andere sind seit einigen Monaten unterwegs und dauern auch noch ein paar Monate. Und dann ist quasi die Herausforderung, das Ganze auf irgendwie eine EVP in MPLS-Plattformen wahrscheinlich zu heben. Das heißt, da braucht man dann jemand, der irgendwie Layer 3 verstanden hat, um dann eine Layer 2-Wolke auf das Layer 3 zu bauen. Ansonsten sind halt die üblichen Sachen. Das Server-Administration ist irgendwie vor allem für den Routserb und diese Dinge, Automation, Monitoring, so Sachen, kann man sicherlich immer brauchen. Sprich uns gerne nachher an oder ansonsten Ops-Ed-Stuttgarter-XD. Genau. Also das wäre jetzt auch die letzte Frage gewesen, die ich stellte. Sie ist leider jetzt schon vorweggenommen worden, aber das ist eine wichtige Frage, finde ich. Ich sehe gerade keine weiteren mehr oder habe keine Fragen mehr im Kopf. Okay, da ist noch eine. Hat noch jemand eine weitere Frage? Okay, dann gehe ich zu der einen noch. Hi, ihr hattet gesagt, es ist im Interesse eines AX in einem Metro Area, so zu sagen, in jedem größeren Rechenzentrum in Schrank bzw. ein Anschlusspunkt zu haben. Wie baut ihr das klassischerweise auf? Ja, man muss jetzt halt irgendwie gucken, wenn es jetzt zwei Switches sind, dann kann man die theoretisch einfach zusammenstecken und man mietet sich dann halt eine Leitung von, im besten Fall, einem der Piers und kriegt einen guten Preis oder so. Sobald es mehr wird, wird es kompliziert. Das ist ja auch ein Problem. Das ist ja auch ein Problem. Das ist ja auch ein Problem. Das ist ja auch ein Problem. Das ist ja auch ein Problem. Das ist ja auch ein Problem. Das ist ja auch ein Problem. Das ist ja auch ein Problem. Das ist ja auch ein Problem. Das ist ja auch ein Problem. Sobald es mehr wird, wird es kompliziert. Es gibt eine Vereinigung von IXPs, das nennt sich EuroIX. Dreh dich mal, umdrehen. Achso. EuroX. Da kann man sich mit anderen Leuten austauschen, die so was betreiben. Das ist eine sehr offene, sehr coole Community. Sobald ich das mit bekomme, machen praktisch alle heutzutage sitzen da oben drauf, einfach eine E-Vip hier in Wolke, also einfach jetzt in Anführungszüge. Technisch halte ich auch nichts davon ab, quasi Vorderanz durch die Gegend zu schubsen und einfach Dark Fiber einstecken tut. Genau, machen auch viele Eichse. Ja, dann nochmal Danke, Bromo und Sebastian. Ich glaube, dass so viele hier in Ruhsitzen geblieben sind und selbst in Fragen und Antworten in Ruhe gelauscht haben und auch so viele Fragen gekommen sind, zeigt einfach, wie gut ihr diesen Talk halt vorbereitet und gezeigt habt und wie viele Fragen ihr da einfach so schön mit noch kreiert hat. Ich fand das super. Ich hoffe, ihr fand das auch super. Danke schön.