 Ja, hallo und schön, dass ihr alle da seid zum Vortrag über KI-basiertes Insekten-Monitorium mithilfe von Citizen Science. Willkommen an unsere beiden Speakerinnen Inger Beckers und Daniel Brandt. Okay, im Anschluss an den Vortrag gibt es wahrscheinlich noch die Möglichkeit, ein paar Fragen loszuwerden. Also bleibt ruhig, auch nach dem Vortrag noch einen Moment da. Okay, ja, vielen Dank, herzlich willkommen. Also wir freuen uns sehr über euer Interesse an KI-basiertem Monitoring von Insekten. Wir sind in einem Forschungsprojekt gerade tätig, das ist gefördert von BMUV und der Projektträger ist der ZUG. Und wer wir sind, das seht ihr hier oben. Also wir sind die Berliner Hochschule für Technik, eine Gruppe davon. Der zweite Partner ist das Umweltbildungszentrum Listhof, das sitzt in Süddeutschland in Reutlingen und dann als dritte Partner, das sind Citizen Scientists, die, naja, ich würde sagen, ungefähr in gleich großer Zahl dabei sind, wie wir als Mitarbeiter und Wissenschaftler. Und jetzt komme ich erst mal dazu, warum machen wir das überhaupt? Es gibt insgesamt, und das war der Stand 2019, 73 Studien weltweit, die durchgeführt worden sind zum Insektenmonitoring. Man sieht, wenn man auf diese Karte guckt, dass es hauptsächlich in Europa stattgefunden hat, diese Studien, 43 in Europa und 18 in den USA und dann nur noch ein und zwei in sonstigen Ländern der Welt. Und was man insgesamt zusammenfassen kann, ist, dass wir einen enormen Rückgang haben an Insekten und zwar für terrestrische Insekten sind es 38 Prozent und die, die sogar vom Aussterben bedroht sind, das sind dann dann 28 Prozent, hier kann man unten ein paar besondere aufgelistet noch mal sehen und die Köcherfliege ganz unten, die ist sogar ganz besonders bedroht. Und dabei ist eine Studie ganz besonders umfangreich gewesen. Das ist eine Studie, die ist zusammen aus England, Holland und in Deutschland durchgeführt worden. Das ist die sogenannte Krefeldstudie und hier haben Entomologen aus Deutschland alles Ehrenämter über 27 Jahre lang Daten gesammelt. Ansonsten ist die Datenlage insgesamt sehr prekär. Wie ist die Situation? Also wir haben weltweit mittlerweile einen Rückgang um 76 Prozent im Gesamtzahl der Insekten und das hat man erst gar nicht festgestellt. Das kriegt man natürlich erst mit, wenn man die Daten erhebt. Und aber nicht nur die Anzahl der Insekten ist zurückgegangen, sondern was auch zurückgegangen ist, das ist die Artenvielfalt, also die Diversität. Und Grunde sind irgendwie, die liegen auf der Hand, ja. Das sind Monokulturen, Einsatz von Pestiziden, dann die zunehmende Versiegelung, auch das Fehlen von meinetwegen Kufladen, die herumlegen, die Insekten brauchen als Nahrungsmittel und natürlich der Austausch von Insekten weltweit, weil neue Insekten zu uns kommen und dann als Schädlinge fungieren und vor allem natürlich auch der Klimawandel. Und das Ganze, das hat vielfacher Auswirkungen. Also es ist nicht nur, dass die Insekten nachher fehlen, sondern Insekten haben ja eine bestimmte Bedeutung. Insekten fehlen als Nahrungsmittel für Vögel. Es wird also insgesamt, wird auch die Vogelzahl dezimiert werden nachhaltig und dann wird es still um uns herum in der Natur. Aber nicht nur, dass Insekten als Futter zählen, sondern Insekten haben natürlich auch vielfältige Funktionen. Sie bauen organisches Material ab, sie reinigen Gewässer, sie bestäuben Pflanzen. Also sie sind für die gesamte Nahrungskette sehr, sehr wichtig für uns. Und auch wenn Insekten fehlen, dann kann es natürlich zunehmendes Maß auch zu dominanten Insekten kommen, die Schädlinge sind und die solchen Gefahr wird natürlich größer. Und was kann man dagegen tun? Also als erstes ist es natürlich wichtig, dass man genügend Daten hat. Also man muss erstmal ein umfangreiches Monitoring machen, damit man erstmal weiß, mit welchen, mit was man es überhaupt zu tun hat, was sind möglicherweise gute Maßnahmen, die man erheben kann, um dem entgegenzuwirken. So, der Status quo ist, dass man mit verschiedenen Fallen arbeitet. Hier sieht man zum Beispiel so eine typische Mahlesfalle, Fallen, die man im Wald für Laufkäfer aufstellt. Das sind solche Typen von Fallen. Aber an allen Enden einer Falle stehen üblicherweise, sind solche Gefäße und in den Gefäßen ist Alkohol, da fallen die Insekten rein, die Insekten sind tot und werden dann alle zwei Wochen enormen und auf jeden Fall sind sie nicht mehr im Habitat vorhanden. So, das ist der Status quo. Ich habe dir mein Bild zusammengesetzt, das wäre so eine Falle, wie sie aussieht. Da hinten ist eine Todfalle und was nachher gemacht wird, es werden die Masse, die dort in den Gefäßen wird, getrocknet. Man misst nachher nur noch die Biomasse der Insekten, sie werden also nicht einzeln noch klassifiziert und es werden nur Endschei, so ein paar werden herausgefischt, die ein bisschen größer sind und interessant, die werden dann auf Art klassifiziert. Also gar nicht so umfangreich und man kann sich auch vorstellen, es gibt gar nicht so viele Insektenforscher und immer dort, wo ein bestimmter Forscher sitzt, also ein bestimmtes Interesse vorhanden ist, dort gibt es auch Daten und sonst nicht. So, was ist nun unser Ansatz? Unser Ansatz ist, dass wir aus dieser Todfalle eine Lebensfalle machen. Wir haben ein Monitoringsystem entwickelt, bei dem das Insekt am Leben bleibt und das Ziel dabei ist, dass wir diese Studie erstmal ausweiten können, dass wir nicht nur diese Blindspots auf der Karte füllen, dass wir das Experten wissen, was wir bekommen durch die Entomologen, dass wir durch das Training einer AI dieses vervielfältigen, also die AI dienen uns nachher als Multiplikator und dass wir nicht nur die Biomasse messen, sondern mindestens mal die Insekten einzeln zählen, die da drin sind. Gut, das ist unser Ansatz und jetzt vergebe ich ihn dann ja. Wir kommen jetzt zu den Eigenschaften von unserem Monitoringsystem. Also das ist ein Science-Projekt, wie gesagt, also unser Monitoringsystem. Der soll billig sein, der soll robust, sicher und der soll einfach nachbaubau sein und bedienbar und das muss auch Interesse wecken. Also der ist Resperipal basiert. Am Resperipal wird dann eine Haku-Kamera angeschlossen, ein Wing-Bit-Sensor und zusätzliche Wetter-Sensoren. Auf den Resperipal selbst wird dann eine KI laufen, die denn das Insekt klassifiziert und Ziel in der Zukunft ist, dass die Ergebnisse der Klassifikation durch ein Loravan-Netzwerk freigestellt werden für alle. Also wie sieht jetzt aktuell der Weg durch unseren Insektenmonitoring aus? Das können wir hier sehen. Also die Insekten werden erst gefangen durch eine Falle. Auf der Spitze der Falle ist eine Öffnung, die Kabeln aus der Öffnung raus, erst in unser Kamerasystem, wo ein Foto aufgenommen wird, denn fliegen sie los durch den Wing-Bit und das Wing-Bit-Signal wird dann noch aufgenommen und dann wieder ins Freie und zusätzlich werden auch Wetter-Daten aufgenommen. Das ist im Detail das Kameramodul, also die größte Herausforderung war, die wir bis jetzt hatten, lag an der Interaktion zwischen Technik und Umwelt. Also die Insekten werden viel von Wetter beeinflusst, also ob es Frühling ist, ob es Herbst ist, ob es zu warm ist, ob es zu windig ist und jedes Insekt ist denn sehr individuell, also die sind alle sehr unterschiedlich. Und die machen natürlich nicht das, was wir uns wünschen und damit sie auch die Bewegungen noch eingeschränkt werden, sind wir auf die Idee von der Arena gekommen, was hier in Gelb zu sehen ist und damit wir auch noch scharfe Bilder über die gesamte Höhe der Arena haben, haben wir auch die Blendeentbrechen angepasst. Die Arena ist aus diffuses Plätsiglas, damit auf den Bildern keine Schatten zu sehen sind und wir haben eine Lichtranke in der Mitte, also das heißt wir nehmen nicht die ganze Zeit auf, sondern nur wenn die Lichtranke unterbrochen wird, wird ein Video aufgenommen und es wird zusätzlich im Video auch noch geblitzt, weil die Insekten sehr schnell krabbeln und das hat auch zu Unschärfe gebracht. Das sind einige Ergebnisse von unserem Monitorinsystem, wir haben hier ein grauel Hintergrund ist zu sehen, wir haben hier eine Kieferwanze, eine Feuerwanze, Feldgrille und eine Fliege und was für uns auch noch wichtig war, war eine Resolution von 4 Mikrometern, damit die Details, also die Strukturen auf dem Flügen erkennbar sind oder die Haare auf der Fliege, weil durch Strukturen und Haare werden die Insekten auch von Entomologen bestimmt. Hier ist ein Beispiel, wie man eine Wespe klassifiziert, es gibt verschiedene Stufen, als erstens wird die Klasse bestimmt und dann wird die Ordnung, die Ordnung, Familie und Gattung, das Interessante an der Gattung ist, dass die wird bestimmt durch die Beobachtung von Sozialverhalten der Wespe und dann kommt die Art. Gut, jetzt mache ich weiter und werde etwas über den nächsten Sensor erzählen. Mit freundlichen Bereitstellen von Adrian Thimson haben wir Smith, haben wir hier dieses Video zeigen dürfen. Wichtig ist dabei einfach zu gucken, wie sich dieser Flügelschlag von den Insekten, wie das aussieht, also das ist eine amerikanische Strauchlaus und aufgenommen mit 3200 Frames per second. Was man gesehen hat, ist, dass sich die Flügel bewegen, hoch und runter sind vier Flügel, dann rotieren die noch, das heißt man hat verschiedene Frequenzen, die man messen kann und die nachher auch charakteristisch für einen Insekt sein sollen. Das spielt natürlich noch mit, wie die Temperatur ist, ob sie gerade in der Paarungszeit sind. Nichtsdestotrotz ist das eine gute Methode, um eine Klassifizierung durchzuführen und wir haben uns für einen optoakustischen Ansatz entschieden, nach Potamitis. Wir haben den allerdings umgesetzt für unseren Use Case auf diese Art und Weise, also zwischen einem LED-Feld und einem Sensorfeld haben wir eine homogene Ausleuchtung im infraroten Bereich, bei 940 Nanometer und senkrecht dadurch passiert ein Insekt. Was misst man nun? Das Insekt passiert dieses Sensorfeld und es gibt einen Schatten. Dieser Schatten ist messbar und wenn noch die Flügelschlag hinzukommt, dann wird dieses Signal noch moduliert. Das sind typische Aufnahmen. Hier ein Vergleich einer Mistbiene und eine Fruchtfliege. In den oberen Zeilen, da sieht man die, über die Zeit aufgetragen, die Frequenzen. Die sehen sich jetzt erstmal, man kann das noch nicht genau unterscheiden, wenn man das jetzt Frequenz analysiert und ein Fenster drüber laufen lässt, dann kann man auch das Rauschen minimieren. Und was man beobachten kann, dass diese Grundfrequenzen eigentlich doch schon an ähnliche Frequenzen darstellen, also sein können, dass aber diese höheren Ordnung der Frequenzen hier im hinteren Bereich, dass die doch sehr unterschiedlich sind. Diese Spektren sind aus einer Masterarbeit von Theodor Giaburu. Und dann macht er mal weiter und erzählt was zu der weiteren Prozessierung der Bilddaten. Genau, also wir speichern Daten und als nächstes werden die Daten vorverarbeitet. Als erstes werden die Bilder vorverarbeitet und das Problem ist hier die Lokalisierung des Insekts zu bestimmen auf dem Bild. Es kann vorkommen, dass es mehrere Insekten auf dem Bild gibt, dass Reflexe da sind oder dass es weitere Objekten auf dem Bild sind. Und deswegen trainieren wir gerade einen Objekter-Cannon-Agguritmen, der in der Lage ist, Bound in Box um das Insekts zu zeichnen. Wir testen gerade mit Bound in Boxes und mit der semantische Segmentierung. Um das Algorithmus zu trainieren, mussten wir erst unsere Daten per Hand leben und wir leben gerade mit Labelstudio. Mit dem Bound in Box Verfahren setzen wir ein Kasten um das Insekts und das Labelstudio gibt uns die Koordinaten des Kasten zurück oder mit der semantische Segmentierung zeichnen wir eine Maske über das gesamte Insekten und die Pixel werden entweder zum Insekt oder zum Hintergrund zugeordnet. Das ist ein Beispiel von der semantische Segmentierung. Die Pixel werden als Hintergrund oder als Insekt zugeordnet. Ein Unett wird trainiert, der eine Maske berechnet und dann wird auf der Maske die Bound in Box gerechnet. Die Zielung Algorithmen, das wird auch hierarchisch klassifizieren, wie das die Entomologen machen. Hier ist auch von der Masterarbeit von Theodor Tjaburo eine Confusion Matrix zu sehen. Der hat Wildbienen klassifizieren. Die Daten sind von den iNaturalis. Wir haben hier die Confusion Matrix. Auf der Diagonale sind die Ergebnisse des Algorithmus zu sehen. Die dunklen Kasten ist, wo das Algorithmus genauer war und die Hellen, wo das ungenauer war. Was wichtig anzusehen, wir haben die KI trainiert, obwohl wir nicht genug Daten haben. Noch haben wir nicht viele Daten gesammelt innerhalb unseres Monitoringsystems. Wir haben schon mal geguckt, wie das überhaupt geht und haben auf verfügbaren Daten gearbeitet. Was man nachhaltig sehen soll, hat Theodor Tjaburo auch die IPSD-Daten im Original genommen und hat mal verglichen, wie die Laufzeiten sind, einmal auf Google Colab, auf der CPU und bei der Komprimierung über TensorFlow Lite, was dann dabei herauskommt, wenn es auf dem Raspberry Pi läuft. Das bezieht sich aber nur auf das Vorwärtsrechnen. Das ist nicht das Training des Netzwerkes. Es wird nachher so sein, dass die einzelnen Sensoren für die Klassifikation verwendet werden und zu jedem Sensorsignal wird ein Merkmalsvektor berechnet. Die werden anschließend zusammengeführt und final. Das sind jetzt hier nur die Bilddaten und die Wingby-Daten gezeichnet. Da können immer noch mehr dazukommen, je nachdem, welche zusätzlichen Sensoren die Daten sind, wie die Daten sind, je nachdem, welche zusätzlichen Sensoren noch implementiert werden. Zum Schluss bekommen wir ein Wahrscheinlichkeitsvektor heraus und werden dann mit Gewichtesätzen noch mit den Metadaten, die wir haben. Und hier, das ist auch noch eine Folie, die ist noch von Frank. Je nachdem, mit welcher Wahrscheinlichkeit ein Insekt vorkommt, kann man nachher das Ergebnis noch wichten. Hier ist ein Beispiel einer Schrebfliege und einer Wespe von der Zeichnung sehen, die sich ähnlich aus. Wenn man jetzt zum Beispiel annehmen würde, man hätte August 16 Grad, dann ist die Wahrscheinlichkeit auf der einen Seite für als Vorkommen einer Wespe, das ist der rote Punkt wesentlich höher und auch bei 16 Grad ist es, das Auftauchen einer Wespe mit einer höheren Wahrscheinlichkeit vorhanden als von einer Schrebfliege. Und das kann genauso genutzt werden, um das Netz zu lernen, aber auch wenn es gelernt ist, kann man das auch nutzen, um nachher die Auswertung, die Klassifizierung zu machen. Okay, genau. Jetzt kommen wir zum Ende. Genau, das System ist schon nachbaubar. Das Hardware ist schon auf GitLab verordentlich geworden und wir haben auch eine Datenbank, eine Cloud, wo wir die Daten hochladen können. Und das wird dann auf der Datenbank die Sensordatenbilden angezeigt und die Klassifikation der Insekten. Was wir... Genau, also es steht schon alles frei im Internet und wir brauchen jetzt Leute, die mit uns Daten sammeln. Wir haben bis jetzt fünf Sensoren. Die meisten sind in Reutlingen bei unseren Partner und wir haben hier auch in Berlin ein paar und wir brauchen jetzt Daten. Genau, das ist unser Team noch mal. Frank sitzt auch in der Publikum und ich bedanke mich. So, das ist noch mal ein paar. Also nur mal, wenn man sehen möchte, wie das System nachher aussieht, unser Ausstellungsstück sieht da aus wie oben in der Mitte. Hier haben wir eine Plexiglaswand dazwischen, damit man sieht, wie das Innenleben aussieht. Natürlich noch mal kompakt zusammengefasst. Hier ist unsere Gruppe bei der Arbeit und damit möchten wir uns verabschieden. Bedanken wir uns für die Aufmerksamkeit und alle Hardware, alle Software und auch die Arbeit, die Masterarbeit, liegt alles auf GitLab. Das ist der GitLab-Code oder wenn man das abtippen möchte, dort unten ist die Internetadresse. Dann haben wir noch eine Webseite. Die sieht man dort und jetzt freuen wir uns auf Fragen oder ihr schreibt uns eine Mail. Ganz großes Dankeschön für den tollen Vortrag. Ihr habt es alle gehört. Wir sind alle gefragt, mitzuarbeiten. Hallo, cooles Projekt, Clemens Grober von der Uni Freeman oder damals Uni Freeman. Wir haben ein Beam-Projekt gemacht, auch im Open Source. Was kostet denn eure Hardware und wie wollt ihr diese Kids vertreiben? Gibt es Workshops zum Beispiel, wo man mal mitmachen kann, dass man sagt, wir bauen mal zusammen und das kostet das Ding. Kann man das auch bei euch kaufen oder wie stellt ihr euch die Community vor? Es gibt natürlich immer verschiedene Ausführungen und es hängt auch davon ab, was man schon andere Sourcen vor Verfügung hat. Man braucht nicht jede Schraube kaufen, wenn man schon eine Werkstatt hat und dann kann man davon aus, dass man 600 Euro braucht, wenn man ein paar Sourcen hat. Wir haben einiges mit dem 3D-Drucker gedruckt. Das muss man aber nicht. Aber wir sagen, 600 Euro ist das, was man braucht für die Elektronik, für das Bestellen der Platinen, die Linsen und ja, das ist das. Wir fangen jetzt an, es wird jetzt der Reihe nach nachgebaut. Wir haben ja auch schon auf der Seite jetzt Anleitungen, Manuals, die werden jetzt nochmal überarbeitet durch Leute, die das zum ersten Mal aufbauen. Und wir werden mit Arbeiten zum Beispiel Zubis zusammen, die das auch in einer größeren Gruppe im Februar nochmal nachbauen werden und werden einen Workshop machen. Wir haben schon einige Anfragen von Bildungszentren, von Lehrer zusammenschlüssen aus Nordrhein-Westfalen, aus, ich glaube auch aus Bremen sogar, aus Süddeutschland, dieser Workshop, der wird dann stattfinden. Das ist jetzt gar nicht was, was wir uns entschieden haben. Wir haben ein großes Treffen Anfang Dezember und werden mal gucken, wie die Bedarfe sind und würden dann sowohl einen Workshop machen vor Ort und einzelne Teile dann bauen. Und wir werden das Ganze aber auch aufnehmen, so dass wir das dann online zur Verfügung stellen. Wenn Sie da schon so eine Art Aufbauschema haben, dann gibt es mit Sicherheit eine Liste, wo das ganze, wo es für Teile alles notwendig sind, oder? Gibt es da sogar ein Musteraufbau oder einigermaßen Masen, oder wo man das rausnehmen kann, ist das alles schon vorhanden? Das Musterabselmuster gibt? Ja. So ein Musteraufbau, wo ich mir die Masen rauslesen kann, beziehungsweise vielleicht sogar Zeichnungen? Ja, das ist alles auf Gittler veröffentlicht, Zeichnungen, Fotos, Aufbauschritt für Schritt dokumentiert und ja, wir können auch immer helfen, gerne helfen. Genau, STL und Gerberfei sind da. STL, Zeichnungen, Masen. Ja, vielen Dank. Tolles Projekt. Es ist ja schon sehr stark auf ein Open Source Projekt ausgelegt. Das ist super. Aber gibt es von euch irgendwie schon eine Projektlaufzeit, die ihr das Ganze auch mitbetreuen könnt? Sehr gute Frage. Unser Projekt läuft noch bis Ende nächsten Jahres. Bis dahin werden wir auf jeden Fall noch die Workshops machen und auch die notwendigen Sachen. Wir werden real überarbeiten und wir werden auch die Videos dazu aufnehmen und bereitstellen. Und danach werden wir sehen.