 Du tust etwas für mich, ich tue etwas für dich in der Wissenschaft. Also bitte applaudiert für Francesca, Theresa und Judith. Ihr habt die Bühne. Danke für die schöne Einführung. Unser Vortrag ist heiß algorithmische Science, Evolution und Machtstrukturen. Wir werden über die folgenden Sachen reden, als Einführung. Wir glauben, dass wissenschaftliche Indikatoren oft benutzt werden, um Entscheidungen zu treffen, die Karrieren entscheiden. Und die von euch, die da schon gearbeitet haben, werden das kennen. Und wir wollen evaluative Bibliometrie verstehen. Und die Algorithmen als Algorithmus, um Wissenschaft zu evaluieren. Wir werden anfangen mit einem Zitat von einer Publikation im Jahr 2015. Die Tyranny der Bibliometrie hat einen disastrousen Effekt auf die Wissenschaft, die von jungen Wissenschaftlern präsentiert wird. Das Problem hier, wenn wir über Tyranny von Bibliometrie sprechen, ist Bibliometrie das Problem? Oder sind Bibliometrie Menschen, die Bibliotrie machen das Problem? Also die, die Wissenschaft machen, die die Studien machen, zum Beispiel die Sozialstudien. Wir müssen für reflektive Metrics, wir müssen die Effekte von algorithmischer Evaluation von Science verstehen. Die Effekte von algorithmischer Evaluation von Science verstehen. Reflexive Medien muss nicht das Problem sein. Die Evaluation, die von den Wissenschaftlern präsentiert ist, ist der Algorithm. Ich werde nicht über das Mikrofon handeln, sondern über das Gespräch mit Theresa. Theresa wird über Datifizierung von Wissenschafts-Evaluation reden. Wenn wir über das Wissenschafts-System nachdenken, was erwarten wir dann? Was kann eine Gesellschaft davon erwarten? Was kann eine Gesellschaft vom wissenschaftlichen System erwarten? Und was wir sagen könnten, wäre zum Beispiel der Verlässigkeit und Wahrheit von Wissen. Wo kann man dieses Wissen finden, normalerweise in Veröffentlichungen? Durch diese Publikation können wir sagen, dass Wissenschaft schlecht ist oder gut, oder ist Science besser oder schlechter. Und in der Ära von digitalen Publikationsplattformen gibt es dann Algorithmen und diese benutzt man dann die Qualität von wissenschaftlichen Dingen zu beurteilen. Was sind Metadaten? Metadaten ist zum Beispiel der Autor von der Publikation. An welche Institution hat der Autor das geschrieben? Welche Arten von Zitationen sind in der Bibliografie von dem Produkt? Diese Daten werden dann benutzt, um Bibliometrie-Indikatoren zu berechnen. Zum Beispiel gibt es dann den Journal-Einschlagsfaktor. Man kann dann zum Beispiel verschiedene Journals vergleichen damit. Man kann sehen, in welchem Wissenschaftsjournal besser oder schlechter performen und welche besser oder schlechter über Jahre performen. Das wird auch oft benutzt, wenn Wissenschaftler sich zum Beispiel für Berufe bewerben. Die tun das dann in ihren Lebenslauf und dann wird das zum Beispiel benutzt, um sich zu bewerben. Also mit dem wissenschaftlichen Umfeld, also welches mit Daten basiert ist, viele Entschaltungen gemacht werden, basierend zum Beispiel Leute einstellen oder Funding, also finanzielle Punkte, werden basierend auf diesen Indikatoren gemacht. Und es gibt vielleicht diesen naiven Glauben, dass diese Indikatoren, dass die wirklich Daten basiert sind und dass die wirklich basiert sind auf Daten, basierend irgendwo in einer Datenbank abgelegen sind, dass die wirklich objektiv sind. Also dass es eine objektive Metrik dahinter liegt, welche da wirklich verwendet werden kann, um diese Werte zu generieren. Hier habe ich ein Zitat von Reader and Simon. In dieser neuen Welt glaubt keinem Ergebnis in der Integration auf individuellen Weiz erzählen oder das war extrem schwer zu übersetzen, tut mir leid für die Jesuern. Also wir sehen hier ein Wandel in diesem Evaluation-System, dass das basiert auf einem Expertenwissen zu einem System, das auf Algorithmen basiert und dieser Wechsel, es gibt diesen Glauben von dieser Depersonation in diesem System und dass diese Algorithmen die neuen Gesetzgeber sind. Wenn wir jetzt diese Interaktion angucken von Algorithmen und Wissenschaftlerinnen, können wir nun sagen, dass diese Beziehung nicht so einfach wie sie auf den ersten Blick aussehen mag. Algorithmen sind nicht per se objektiv. Da haben auch soziale Aspekte, die sie mittragen, die werden benutzt, um die Realität zu konstruieren. Und Algorithmen, die wachsen nicht auf einem Baum und da kann man die sich pflücken kann. Also sie kommen nicht einfach aus dem System raus. Also das heißt, wir müssen wirklich darüber nachdenken, welche soziale Bedeutung haben diese Algorithmen. Also wenn es diesen Code gibt, der vom Algorithmus benutzt wird, da hat immer ein subjektives Bild und dieser Transmitter in diesem Code, man kann nicht sagen, das ist eine perfekte Konstruktion von der Realität. Also der Glaube, dass es wirklich mehr sagt über die Qualität der Wissenschaft, ist ein sehr schlechter Indikator. Wenn man auf dieses Beispiel nachdenkt, über dieses Zähl von Situationen, wenn man diese Informationen zählt, also wenn man die Publikation nimmt aus der Datenbank und die Wissenschaftlerinnen zitieren Paper und diese zitieren auf diese Studien. Aber wir wissen nicht, welche von diesen Zitationen haben mehr Bedeutung als andere. Es ist nicht ganz trivial das zu vergleichen. Aber diese Algorithmen lassen euch glauben, dass es das Gleiche ist und dass es wirklich so einfach zu vergleichen ist. Also relevant kann man nicht so trivialerweise in ein Algorithmus packen und es gibt verschiedene Arten von Zitationen. Das heißt, die Wissenschaftler können auch das kräftiges Instrument missbrauchen und diese Argumenten sagen sehr viel über diesen Wissenschaftler und die Wissenschaftler sind wirklich darauf angewiesen, um ihre Karriere vorzutreiben und zum Beispiel eine Promotion zu bekommen oder um Geld zu bekommen für ein nächstes Wissenschaftsprojekt. Also wir haben hier eine Reziproke-Beziehung zwischen dem Algorithmus und der Wissenschaftlerin. Und das macht diese ganze Konstruktion dieser Realität. Das heißt, wir können nun zusammenfassen. Das heißt, die Stellung durch diese Algorithmen führt, dass die Wissenschaftler eine Anpassung in ihrem Verhalten machen. Und ich gebe jetzt hier weiter an Franziska mit dem nächsten Thema. Vielen Dank. Ich möchte gerne jetzt fokussieren auf Reputation und Autorenschaft. Ich möchte gerne anfangen mit einem Zitat von Garfield. Es ist sinnvoll anzunehmen, dass wenn ich ein Paper zitiere und das, was ich mich grundsätzlich enttieren würde, welche sind auch zitierte wie meine eigenen. Also ich habe beobachtet, es gibt verschiedene Beobersituationen, dass die Leute die Artikel zitieren, die ich auch zitiert habe. Und das ist die Basis, damit man ein sogenanntes logisches Netzwerk machen kann für diesen Ziationsindex-Service. Dieser Index, der beschrieben wird, das war nur entwickelt worden, um Probleme zu lösen, also diese Informationsaustausche. Garfield hat auch diesen Index geschrieben und hat auch was anderes erfunden. Ich hatte auch gemerkt, dass es großen Interessen gab, in dieses Rezipro gebeverhalten gibt. Und wirklich, das Interesse in diesen Index ist immer mehr relevant geworden. Und das Benutzen dieses Index wurde immer weitergetrieben. Ein anderer Wissenschaftler hat nach dem anderen den nächsten gefragt, weil wir hier zur Zeit wirklich eine Metacrise haben in der Wissenschaft. Er hat gesagt, wenn ein Paper zitiert wurde, wird es noch mal und noch mal zitiert. Das heißt, es wird nie reicher werden, immer reicher. Man nennt es auch den Matthew-Effekt. Schlussendlich wird dieser Effekt genommen. Dieser Index wird nach wie vor aus das Reziproke-Zitationssystem genommen in einen globalen Spieler. Wenn einmal ein Paper zitiert wird, ist die Wahrscheinlichkeit, dass es noch mal zitiert wird, viel höher und es nimmt immer mehr zu. Die eigene Einfluss wird immer mehr zunehmen und dieses eigene Feld wird immer mehr established in einem wissenschaftlichen Feld. Also entweder man leist dieses Paper und Leute machen dann auch mehr Wissenschaft auf diesem speziellen Feld. Dieses Phänomen ist zu einem Instrument geworden für Disziplin. Und es hat so eine komplette Machtstruktur generiert. Ich möchte euch gerne ein Beispiel zeigen, was das Phänomen darstellt. Vielleicht sind hier in diesem Raum Physiker oder Astronomen. Ja, ich sehe da ein paar. Das ist sehr gut. In der nächsten Slide haben wir ein Graf mit einem Zeitfenster von 2002 bis 2016 und Wissenschaftler aus Berlin haben herausgefunden, dass die Koa-Touren schafft in diesem Feld und der Physik ist immer um 58 größer geworden, jedes Jahr. Das ist bereits sehr hoch, aber die haben auch einen extremen Anfang. Die haben ein Paper gefunden mit 5.000 Autoren. Durchschnittlich ist die Teilarbeit von einer Wissenschaftlerin an so einem Paper, die da aufgeführt sind, ist in der Regel 0,01 Wörter. Das klingt ziemlich komisch, oder? Natürlich muss man sich das in einem gewissen Kontext angucken, aber das kann man vielleicht später noch diskutieren. Weil das auch ein bisschen was mit dem Atlas-Particle-Detektor zu tun hat. Das braucht natürlich sehr viel Maintenance und so. Aber die Anzahl der Autorenschaft, das kann man wirklich unabhängig jetzt im Wissenschaftsfeld angucken. Es ist wirklich generell mehr geworden in den letzten Jahren. Also hier ist wirklich ein Problem vorhanden. Natürlich für die Reputation ist es ein großes Problem. Hier gibt es sehr großen Druck auf die heutigen Naturwissenschaftler und Wissenschaftler und Wissenschaftler. Hier haben wir etische Wissenschaftsgrundsätze der Verantwortung. Hier ist einer auf dieser Slide, und zwar von der australischen Verantwortlichkeitskondakt. Das Recht der Autorenschaft ist nicht daran gebunden, also dass man die Position hat, den Beruf und es hängt nicht davon ab, ob man dafür bezahlt hat oder ob man das unbezahlt gemacht hat. Es ist nicht genug, dass man Materialzuführungen gestellt hat oder irgendwelche Routine-Supportarbeiten gemacht hat oder dass man z.B. Messungen gemacht hat, auf welchen die Population basiert. Substanzuelles, intellektuelles Beteiligung ist nötig. Wir sprechen jetzt über das strategische Zitation. Also wenn du diesen Punkt schon sagst, also sagen wir, dieser Wissenschaftler findet irgendwas in seiner Forschung und dann beschreibt er, diesen Fund in einer Publikation an die Wissenschaftskommunity und diese Community gibt ihm dann eine Belohnung und der Algorithmus, den wir jetzt als neues Ding betrachten, der verhandelt jetzt sozusagen die Sichtbarkeit von der Publikation und der verhandelt dann auch die Belohnung von der Gesellschaft zurück zum Wissenschaftler. Und was jetzt der Wissenschaftler macht, ist, dass er auf diesen Algorithmus zugeht, anstatt auf die Gesellschaft, also das heißt, errichtet seine Publikation danach, wie der Algorithmus funktioniert. Zum Beispiel, wenn man Schlüsselwerte benutzt, strategische Schlüsselwortnutzung, das macht man dann zum Beispiel, um den Algorithmus zu adressieren. Also der Algorithmus wird adressiert als Empfänger von wissenschaftlichen Publikationen. Und es ist, es ist ein bisschen übertrieben zu unterscheiden zwischen unsichtbaren Zusammenarbeit mit den Zitationskartellen. Wenn wir zum Beispiel Zitationsnetzwerke anschauen, wir sehen ganz viele Leute, die sich gegenseitig zitieren, dann sind, wir sind, wir machen uns Sorgen über Zitationskartelle, also große Kartelle von Leuten, die sich gegenseitig zitieren. Und die sich nicht darüber Sorgen machen, ob die Wissenschaft zwischensthaft Aspekte vorankommt, sondern die sich gegenseitig unterstützen, was zum Beispiel ihre Karriere angeht. Und Leute versuchen herauszufinden, durch die gegebenen Daten, wie groß und wie Wissenschaftskartelle funktionieren und versuchen, eine Diskussion darüber zu haben. Ich zeige euch jetzt, ich zeige euch jetzt ein paar Zitate, wie Leute über Zitationskartelle reden. Zum Beispiel Davis sagt, dass da Zitationskartelle zusammenarbeiten, die gegenseitig sich gegenseitig damit helfen. Also man denkt, dass Editoren von Jonas miteinander reden und sagen, okay, du zitierst meinen Journal, ich zitiere deinen Journal. Und wir versuchen, also es gibt Leute, die versuchen, diese Kartelle zu entdecken. Und wir haben sehr wenig, also hier ist noch ein Zitat, wir haben sehr wenig Wissen über diese Kartelle selbst. Und wir versuchen vor allem moralische Diskussion über Wissenschaftsethik. Und wir finden sehr viele Diskussion über die Fairness, Diskussion über die Fairness vom Impact Faktor. Diese muss ein Indikator überhaupt fair sein, also wenn man glaubt, dass man einen fairen Indikator in einer Zahl packen kann. Also es ist eine ziemlich große Sache zu sagen, dass man einen fairen Indikator in nur einer Zahl hat. Davis hat auch gesagt, in disciplinarischen Normen und... Also wir finden diese moralischen Fragestellungen mit richtig und falsch. Wir finden, dass sich Leute fragen, über wie fair diese Indikatoren sind. Und wir finden auch, dass Leute gefragt danach haben nach Bestrafungen, wenn das passiert. Also wir haben auch eine Diskussion über... Rangliste und Power in einem komplett anderen... In einem komplett anderen Thema. Ich habe jetzt zum Beispiel diese Zitat gefunden, über den Google Paytrank Algorithmus. In 1999. Sie haben da geschrieben... Sie haben ein Paper geschrieben über die sozialen Implikationen, über die Informations... über wie man Informationen nachschaut über Google und wie der Paytrank das beeinflusst. Und da steht, der Zitat ist, diese Typen von personalisierten Paytranks sind Immun zur Manipulation von kommerziellen Interessen. Das war sehr wichtig für mich, das zu lesen. Denn wir haben auch diese Erzählung von Missbrauch und Manipulation. Und wir haben auch diese Vorstellung von Fairness und das Leute, die versuchen zu betrügen. Und in den frühen 2000... hatten wir dann private... In den frühen 2000er Jahren hatten wir dann diesen Skandal mit diesen Webseiten, die linkswärms gemacht haben, sodass die Seiten höher kommen in den Paytrank und Google hat sich dann entschieden... Leute haben... Google hat sich dann entschieden, das zu bestrafen, dass Leute in ihren Paytrank... ...inflatztiert haben. Und es ist im Moment eigentlich akzeptiert, dass Google's Rangfolge akzeptiert und überall benutzt wird. Und obwohl der Paytrank einigermaßen transparent scheint, ist es eigentlich fast das gleiche, denn es akzeptiert es uns nur, es benutzt, und es wird überall benutzt, also genauso wie beim Impact Factor vom Impact Factor von Wissenschaft. Und wir haben noch eine andere Analogie, denn Google hat zum Beispiel... Google hat gesagt, wenn man versucht zu betrügen, was das Paytrank angeht, dann wird man bestraft. Wenn man gegen die Rücken verstoßt, wird man bestraft. Denn dieser Paytrank hat sehr viel... ...Macht in sich. Und das ist auch analog zu der Diskussion in Wissenschaft. Und wir haben auch diese... ...Machtkonzentration in der Hand von... ...Clarvit. On who is going to be indexed, and then those... ...Clarvit entscheidet, wer überhaupt ... ...gelistet wird in der Datenbank und wer in... ...Impact Factor bekommt. Und,om wir über diese Analogie... ...nachdenken, kommen wir vielleicht zu... ...interessanten Schlüssen. Unsere Zeit läuft ab. unsere Zeit läuft ab und deswegen geben wir euch eine Nachricht, um das sie aufzuhören. Also die gewissenschaftliche Gesellschaft reagiert mit einem, mit Regeln. Wir haben diese Daten dank Datenbanksteller, die mit Bestrafung reagieren, wenn jemand das diese Regeln verletzt. Also mit zum Beispiel Citations-Sacking macht, damit man bestraft. Wir haben Wissenschaftler und Publizierer, die ihre Produktions-Publikationsstrategie diesem Struktur anpassen. Wenn wir das als Problem verstehen wollen, wenn wir das Problem verstehen wollen, müssen wir nicht nur den Algorithmus adressieren, sondern auch die Machtstrukturen. Also man sollte nicht nur den Algorithmus verurteilen, sondern die Machtstrukturen genau anschauen. Sollten wir uns nicht die Machtstrukturen am Genausten anschauen. Danke. Danke an Francesca, Theresa und Judith. Danke, dass jetzt einen Blickwinkel darauf gebracht hat, wie das wirklich funktioniert. Also es ist eher die Frage nach Händewaschen geleitet. Wir haben hier eine Frage. Danke für diesen interessanten Vortrag. Ich habe eine Frage. Vielleicht seid ihr, vielleicht kennt ihr den Term Mesh Messungsdysfunktion. Wenn man irgendeine Art von Metrik gibt, dann wird der Arbeiter optimieren, auf diese Metrik anstatt einen guten, gute Arbeit zu machen. Und es ist ein bisschen unausweichlich. Denkt jemand, kann die Symptome überhaupt? Müsst mir vielleicht nicht den ganzen Algorithmus. Also ich würde mich auf dieses Phänomen zurückgehen, also lernen, nicht auf deine intrinsische Motivation, sondern für deine äußere Verlohung. Wir haben das auch beobachtet, im Fernsehen. Aber wenn wir nur diesen Algorithmus zurücknehmen, also wenn wir diese Außenpunkte komplett rausnehmen, du würdest die Wissenschaft gar nicht mehr angucken wollen. Also wen möchtest du damit ansprechen? Also an wen würdest du diese Anfrage stellen? Also deshalb gebe ich die Frage so an dich zurück, in dem Sinne. Noch eine Frage aus dem Internet? Okay, dann gehen wir zum Mikrofon 2. Ich will eine provokative Theorie haben. Ich denke, dass wir das benutzen, sondern ich denke, das Problem ist, dass wir wirklich denken, dass der Impact Faktor eine nützliche Größe ist. Also vielleicht ein bisschen offensichtlich. Ich würde nicht sagen, dass der Impact Faktor ein Messgerät ist für die Qualität der Wissenschaft. Jeder hat eine andere Definition von einer nützlichen Qualität. Was ich selber beobachte kann, ist, was Leute glauben, was die Leute denken, was das reflektiert. Und ich denke, die jagen Geister. Aber das ist eine valide Messmethode. Auch wenn es wirklich eine relevante Messmethode wäre, würde es mich verunsichern, wie das wirklich die Wissenschaft beeinflusst. Noch eine Frage von Mikrofon 3, bitte. Danke für den interessanten Vortrag. Ich hätte da eine Frage über dieses 5000-Ottoren-Veröffentlichung. Wurde diese Veröffentlichung 5.000 mal veröffentlicht oder wurde das einfach einmal veröffentlicht mit 5.000-Ottoren? Nein, das war ein Paper. Es hatte mehr als 7.000 Wörter und die Autoren schafften, dass die ganzen Co-Autorinnen mehr als 5.000 waren. Also ein Paper mit so vielen Autoren. Die Frage ist, ist es nicht offensichtlich ein Fake? Die Antwort ist, dass es genau das, was ich früher gemeint habe. Man muss das wirklich im Kontext sehen. Physikerinnen arbeiten wirklich sehr an Atlas, in diesem Detektor am CERN. Also als einige Physikerinnen und Physiker im Publikum waren, die wissen, wie das funktioniert. Ich weiß es nicht ganz genau. Also wie ich sie selber gesagt habe, es war so viel Arbeit dahinter und wie ich das gesagt habe, das braucht so viele Reparaturarbeiten, so dass die offensichtlich der Fragesteller sagt, also es war jeder, der irgendwie damit beigetragen hat, war gelistet. Die Frage ist natürlich, ob es jetzt richtig ist oder nicht. Deshalb haben wir diesen Vortrag gegratet, weil wir möchten das transparent halten. Wir möchten das gerne in offener Diskussion überführen. Okay, Entschuldigung, aber wir müssen hier aufhören, denn die Zeit ist auch gelaufen. Wenn ihr noch Fragen habt, dann könnt ihr die Autorinnen vielleicht finden und die Autorinnen sagen auch, dass sie Zeit haben. Noch mal einen Applaus.