 Die meisten von euch kennen mich wahrscheinlich schon von IT-Security-Sachen, aber ich werde heute fast nicht über IT-Sicherheit reden, sondern ich frage, könnt ihr wirklich der wissenschaftliche Methode noch trauen? Und ich möchte gerne anfangen mit einem einfachen Beispiel, den wir in der Wissenschaft machen, zum Beispiel wir fangen an mit einer Theorie und dann versuchen wir zu testen, das ist wirklich wahr. Ich habe gesagt, ich werde nicht groß über IT-Sicherheit, aber hier ist ein Beispiel aus diesem Bereich. Also, ein bisschen zumindest. Es gab mal ein Post auf Reddit, da war ein Foto von einem Buch und die These war, wenn ihr so ein Kristall braucht, schützt euch das von Computerwiren. Das klingt für mich jetzt nicht sonderlich plausibel, weil es in dieser Kristalle, wenn du die auf deinen Computer stellst, dieses Buch sagt, das schützt euch vom Mailware. Aber, wenn wir das jetzt richtig wissen, wie das geht, machen wir jetzt mal eine Studie. Wenn ihr glaubt, Leute machen keine schönen und komischen Dinge, das ist, das ist nicht wahr, die machen zum Beispiel auch die oder andere verrückte Dinge, es gibt wirklich viele nicht plausibel Dinge, also machen wir eine Studie, die machen jetzt eine renomisierte Kontrollstudie, das ist der Goldstandard für solche Tests in der Wissenschaft. Das ist also die Frage, sind diese Malachilie-Kristalle wirklich sinnvoll um uns zu schützen von diesem Mailware? Wie testen wir das? Unser Study-Design, also das Design unserer These? Wir nehmen eine Gruppe von vielleicht, sagen wir 20 Computer zu nutzen und dann machen wir einfach komplett renomisiert zwei Gruppen daraus. Eine Gruppe kriegt einen von diesen Kristallen und sagt denen, stellt die bitte auf einen Computer drauf. Und die andere Gruppe, das ist unsere Kontrollgruppe, das ist wirklich wichtig, weil wir wirklich wissen wollen, ob das wirklich hilft, müssen wir ja eine andere Gruppe haben, aber das dazu vergleichen können, sodass wir da keine Placebo-Effekte haben oder so, kriegen diese Kontrollgruppe einen gefälschten Stein. Damit können wir die dann zusammen vergleichen. Dann warten wir mal sechs Monate und dann gucken wir mal, wie viele Infektionen mit Mailware wir hatten. Ich habe das nicht wirklich gemacht, aber ich habe eine Simulation dazu gemacht mit einem Python-Skript. Und um diese Theorie zu gucken, ob das stimmt, habe ich diese random Daten generiert. Ich zeige jetzt nicht, wie das ganze Skript funktioniert, aber hier ist es generierend der Daten. Ich nehme jetzt mal an, dass es null oder eine Infektion gibt und es ist total random. Dann vergleiche ich mal die Gruppen. Und dann bereiche ich nicht so was, das nennt sich ein P-Wert. Das ist ein ziemlich weitverbreiteter Wert in der Wissenschaft, wenn man Statistik macht. Der P-Wert, das ist ein bisschen technisch, aber das ist die Wahrscheinlichkeit, wenn man keinen Effekt hat, dass man das gleiche Resultat kriegt. Das heißt auf der anderen Hand, wenn man zum Beispiel 20 Resultate hat in einem idealisierten Welt, dann ist einer ein Force Positiv, weil einer sagt, irgendwas ist passiert, aber wo es eigentlich nicht passiert ist. In vielen Felder der Wissenschaft ist dieser P-Wert von Kleiner 0,05, das ist nennt man signifikant. Also diese 20 Schuhe, also ein Fehler in 20 Messungen. Aber das sind optimierte Angaben. Und ich habe jetzt gar nicht das ins Skript und ich kann das einfach durchlaufen lassen. Ich habe das jetzt 20 mal laufen lassen. Das sind hier meine 20 simulierten Studien. Die meisten von denen schauen jetzt nicht sonderlich interessant. Die sind also wie gesagt total random, aber nicht signifikantens außer, wenn man sich das hier genau anguckt, dass die Leute, die den Kristall hatten, die hatten 1,8 Infektionen, die anderen hatten 0,8 Infektionen. Also der Kristall hat es schlechter gemacht. Aber auch dieses Resultat ist signifikant, weil der P-Wert ist 0,03. Also können wir das auch publizieren. Also gehen wir davon aus, ich hätte diese Messung wirklich so gemacht. Und über die anderen Studien, da denken wir jetzt nicht darüber nach. Die waren nicht interessant. Werden interessiert sich für nicht signifikante Daten. Also ich habe jetzt gerade gezeigt, man kann signifikantes Resultat aus randomisierten Daten generieren. Und das ist echt beunruhigend, weil Leute in der Wissenschaft das kann man wirklich machen. Und dieses Phänomenen sind eine Propagations-Buyers. Das, was hier passiert, wenn man eine Studie macht und wenn man ein positives Resultat kriegt, also man sieht das, was man sehen möchte und das publiziert. Und wenn kein Effekt da ist, dann vergisst man das einfach und dürft es weg. Wir haben früher gelernt, dass mit diesem P-Wert von 0,05, das heißt eine von 20 Messungen ist ein Force-Positiv. Aber normalerweise sieht man ja diese Studien nicht, die nicht signifikant sind, weil sie ja nicht publiziert werden. So, jetzt fragt euch wahrscheinlich, was stoppt die Wissenschaftlerinnen und Wissenschaftler, dass wir genau das tun? Also dass wir so viele Experimente machen, dass das einer speziell aussieht. Und die beunruhigende Antwort ist nichts, ist der Grund. Nichts hält sie davon auf. Und das ist jetzt nicht nur ein theoretischer Ansatz. Ich möchte euch jetzt hier ein Beispiel geben, das wirklich wichtig ist. Und da wurde sehr viel Wissenschaft reingesteckt und zwar geht es um Antidepressiva, die ersten SSRIs. 2008 gab es eine Publikation darüber und das Interessante war, dass die amerikanische Essens- und Medikamentgesellschaft, die entscheiden, ob irgendwie ein Medikament wirklich dazu gemacht werden. Also die haben das Wissen über alle Studien, die gemacht werden, damit die das Medikament registrieren können. Und die Wissenschaftlerinnen haben das angeschaut und haben das mal verglichen mit dem, was publiziert wurden. Und die haben gesehen, dass 74 Studien haben wirklich einen Effekt, dass das wirklich eine Verbesserung ist für die Patientinnen. Und von diesen wurden 37 publiziert, aber es gab 36 von diesen Produktionen. Die haben gesagt, dass es keinen Effekt gab, aber es ist nicht besser als das Pulsibo. Aber von den wurden nur 14 publiziert, aber nur von diesen 14 haben elf gesagt, dass das Resultat trotzdem positiv erscheint. Also die Daten wurden entsprechend präsentiert. Es gibt auch viele Studien, die wurden nicht publiziert, weil es ein negatives Ratat war. Und es ist klar, wenn man sich das anguckt, was hier publiziert wurde, also wenn man die anderen komplett ignoriert, die negativ wurden, dann schauen diese Medikamente viel besser aus, als die wirklich sind. Und es ist wirklich ein echter Effekt von Anthroposiva, aber es ist nicht so gut, wie man das eigentlich geglaubt hat. Also wir haben gelernt, dass man theoretisch mit Publication Bias ein Ergebnis aus dem nichts generieren kann. Also wenn du ein Ergebnis hast, was nicht wahr ist, aber du willst etwas publizieren, dann ist das aber nicht ganz so effizient. Du musst 20 Studien machen. Wie interpretieren wir unsere Ergebnisse? Es gibt effizientere Wege. Wenn man eine Studie macht, gibt es viele Mikroentscheidungen, die man treffen muss. Zum Beispiel, was machen wir mit Leuten, die die Studie abbrechen? Oder die umziehen, die man nicht mehr erreichen kann? Sie sind halt nicht mehr Teil der Studie. Was mache ich mit denen? Was mache ich mit Corner Cases, wo ich nicht weiß, ist das ein Effekt? Ist das keiner? Wie messe ich das? Vielleicht sucht man auch nach unterschiedlichen Faktoren, unterschiedliche Tests, die man machen kann an unterschiedlichen Leuten. Man kann für einige Variablen kontrollieren. Teilt man Männer und Frauen in unterschiedliche Gruppen auf? Tut man das nicht? Teilt man nach Alter auf? Es gibt viele Entscheidungen, die man treffen kann. Wir haben also eine Studie durchführt. Und jede dieser Entscheidungen hat natürlich eine kleine Auswirkung auf das Ende der Ergebnisse. Es kann oft sein, dass man einfach nur durch herumprobierend der Kombination dieser Effekte ein Ergebnis generieren kann, was so aussieht, als wäre es statistisch relevant, obwohl es gar keinen hat. Das nennt sich P-Hacking, wenn man so lange an seinen Methoden herumprobiert und herumstellt, bis man ein signifikantes Ergebnis erhält. Ich würde gerne sagen, dass es meistens keine bewusste Entscheidung ist, in der ein Wissenschaftler sagt, okay, heute mache ich P-Hacking, damit ich meine Studie durchführen kann, ein Ergebnis erhalte. Meistens glauben die Wissenschaftler ihre Theorien und sie glauben ehrlich. Sie denken, dass die Theorie wahr ist, dass ihre Forschung das beweist. Und deswegen werden sie vielleicht unterbewusst entscheiden, hm, wenn ich meine Daten so analysiere, sind sie vielleicht ein bisschen besser. Und so könnten sie sich unterbewusst sich selbst P-Hacking, bis sie das Ergebnis erhalten, was sie gerne haben möchten. Und wieder können wir fragen, was hält Wissenschaftler von P-Hacking ab? Und die besorgniserregende Antwort ist wieder dieselbe. Meistens nichts. Und ich komme zu diesem Ergebnis, dass die wissenschaftliche Methode eine Art und Weise ist, Beweise zu generieren für die Theorie, die man möchte. Ihr könntet jetzt sagen, ja, das ist schon eine sehr direkte Art, das zu sagen. Und vor allen Dingen du, wo du gar kein Wissenschaftler bist, sondern nur irgendein Hacker oder so. Aber ich bin da nicht alleine. Es gibt ein Paper von einem berühmten Researcher namens John P. Ionides, der 2005 dieses Problem untersucht hat. Sollte sich das den Titel ansieht, dann fragt er gar nicht mal, ob die kürzlichen Ergebnisse falsch sind. Er erklärt nur, warum das so ist. Vielleicht werden negative Ergebnisse nicht publiziert. Vielleicht hat man da ein bisschen Bayerist. Und das ist gar nicht mal so kontrovers diese Meinung. Wenn ihr Leute fragt, die Methaseins machen oder Wissenschaft über Wissenschaft und sich die Methoden anguckt, dann ist das so. Manche von ihnen sagen sogar, ja, so funktioniert Wissenschaft, das erwarten wir. Und das beunricht mich, denn wenn wir uns das sehen, normalerweise denken wir eigentlich das Gegenteil. Wenn Wissenschaft ein Motor da ist, um sich Fakten zu generieren, wenn man etwas Verrücktes nachdenkt, kann zum Beispiel Leute in die Zukunft schauen, hat unsere Geist zum Beispiel eine extra Fähigkeit, dass man Dinge fühlen kann, die zum Beispiel in einer Stunde passieren werden. Und da war eine Psychologe, der heißt Derek Bram, er dachte, das ist wirklich Fakt und er hat eine Studie dazu publiziert, die die Zukunft rausfühlen, hat Experimente gemacht und er hat etwas gemessen und er hat gedacht, das wäre jetzt eine Statistische Signifikanz, damit er raus haben konnte, was passiert. Ich glaube nicht, dass es wirklich plausibel ist, was hier und auf dem, was wir wissen, über so ein Universum. Und das wurde wirklich publiziert in einem echten Journal. Und da waren so viele Dinge falsch mit dieser Studie. Das ist ein wirklich sehr schönes Beispiel für dieses Peahacking, was wir gerade gesagt haben. Und er sagt genau so, wie man Peahacking, wie ich vielleicht beschrieben habe, Peahacking funktioniert, das ist genau so, wie man Psychologie macht. Aber diese Studie war wirklich absolut in Linie mit den existierenden Standards in den Experimenten in Psychologie. Also die konnten so zeigen, dass diese Voraussagekraft echt real ist. So, also wie können wir wirklich unseren Resultaten überhaupt noch glauben? Psychologie hat das wirklich breite Skutierten in den letzten Jahren. Also man hat wirklich diese Replikationskrise. Es reproduziert so als Krise. Und viele Effekte in der Psychologie, haben wir gedacht, waren echt. Und die haben das versucht zu wiederholen, aber die haben nicht die gleichen Resultate reproduzieren können. Auch wenn wirklich ganze Subfelder darauf basiert waren, dass das wahr ist, was die Leute da publiziert haben. Und ich möchte euch gerne ein Beispiel zeigen. Das ist eines, das nicht so oft diskutiert wurde. Da gibt es diese These, der ist Moral Licensing. Also die Idee dahinter ist, wenn man etwas Gutes tut, oder was man denkt, das ist Gutes, dass man dann später, dass man sich dann später wie ein Arsch verhält. Also die Idee ist, wenn ich denke, ich habe was Gutes gemacht, ich muss da nicht mehr in der Zeit sein. Und da gibt es ein paar sehr bekannte Studien dazu, dass diese These, dass die Leute die biologisches Essen konsumieren, dass die nachher, dass die jetzt zum Beispiel mehr, die Leute mehr verurteilen, oder ist hier einfach weniger in der Zentrum mit Menschen. Aber erst gerade letzte Woche hat jemand versucht, das zu reproduzieren. Und die haben das dreimal versucht mit besserer Methodik. Und die haben diesen Effekt einfach nicht wiederfinden können. Aber was man hier sehen kann, sind sehr viele Artikel in den Medien. Ich habe keinen einzigen Artikel gefunden, dass diese Studie nicht reproduzierbar war. Vielleicht kommt die noch, aber das ist ein sehr neues Beispiel. Ich möchte euch jetzt kurz erwarten, weil jetzt vielleicht auch die Psychologen und Psychologen, das klingt alles ein bisschen komisch. Die glauben es so, dass diese Vorhäuser-Kraftwahl ist. Aber eigentlich sagt, vielleicht ist dein Feld nicht viel besser, weil du weißt es vielleicht nicht, weil es hat noch niemand wirklich versucht, Daten zu reproduzieren. Andere Felder haben diese Probleme auch, der Produktizierbarkeit, und die sind viel schlimmer. Zum Beispiel die Pharmafirma, Amtschen, die haben 2012 ein Paper publiziert, die haben versucht Krebsforschung zu reproduzieren. Also so in der Patrischale oder Tierversuche, also nicht Medikamente und Menschen, aber es passiert vorher. Und die waren nur fähig, 47 von 53 Studien wirklich zu reproduzieren. Und das sind wirklich wichtige Studien, die wirklich vorrangig journalistisch publiziert wurden. Das Problem ist, die haben nicht alles publiziert, die haben nicht gesagt, welche Studien waren die, die sie nicht reproduzieren können. Vielleicht im Zwischen haben sie drei von diesen Reprobationen, haben sie produziert, aber das bringt ein neues Problem. Die haben zwar gesagt, dass sie es gemacht haben, und die haben gesagt, sie haben eine Kooperation gemacht mit den ursprünglichen Wissenschaftlerinnen, aber sie haben nur gesagt, um der Basis, dass sie diese Resultate nicht produzieren wollen. Also es gibt manche Felder, die haben gar kein Replikationsproblem, denn niemand versucht zu replizieren. Ich meine, dann kann es ja gar kein Problem geben. Also was können wir jetzt dagegen tun? Und vom Grundauffaer, das Kernproblem ist, dass der wissenschaftliche Prozess mit den Ergebnissen eng verbunden ist. Wir machen eine Studie und nur danach entscheiden, ob sie publiziert wird oder nicht. Oder wir machen eine Studie und erst, wenn wir alle Daten haben, versuchen wir sie zu analysieren. Also müssen wir den wissenschaftlichen Prozess von seinen Ergebnissen entkoppeln. Und ein Weg, das zu tun, ist vor Registrierung. Das heißt, bevor ich anfange, eine Studie durchzuführen, registriere ich das bei einem, der es publiziert, und sage den, hey, ich mache eine Studie über diese Medizin oder diesen psychologischen Effekt, und so und so werde ich es machen. Und später können die Leute prüfen, ob man das wirklich so getan hat. Ja, das ist was, was ich gesagt habe. Und das wird meistens in der Erprobung von Medikamenten gemacht. Insgesamt kann man sagen, es funktioniert nicht sehr gut, aber es ist besser als gar nichts. Und das Problem ist hauptsächlich, wenn man die Methode auch durchsetzt. Leute machen eine Studie, die sie vorher registriert haben, publizieren sie, und niemand überprüft das Ganze. Es gibt hier zwei Kampagnen, die ich nennen möchte. Das ist einmal All Trials von Ben Gold, ein britischer Arzt. Und sie verlangen, dass absolut jede Studie, die zu einem Medikament gemacht wird, publiziert wird. Und vom selben Herrn gibt es noch das Projekt Compaire, in dem geprüft wird, ob eine medizinische Studie, die registriert und später publiziert wurde, auch so durchgeführt wurde, wie sie registriert wurde, oder ob man an Protokoll oder an der Methodik etwas geändert hat, um ein Ergebnis zu halten, was man sonst nicht kriegen würde. Aber andererseits, diese medizinischen Probleme kriegen oft viel Aufmerksamkeit. Und das aus gutem Grund, denn wenn man in der Medizinschlechte Wissenschaft anwendet, dann sterben Menschen. Das ist schlimm. Aber wenn man darüber sich schlau liest, muss man immer drüber nachdenken, diese Probleme ja existieren, aber immerhin haben sie eine Vorregistrierung. Die meisten Feldern wird sich darum nicht mal gekümmert, um das Problem. Also wenn immer etwas über das Thema Publication Bias in der Medizin hört, dann solltet ihr euch bewusst sein, das passiert überall, aber die meisten tun überhaupt nichts dagegen. Und besonders diesem Publikum möchte ich sagen, dass es einen Trend-Irmant gibt, dass Leute aus dem Bereich der Computerwissenschaft und die Medizin revolutionieren wollen, mit Big Data, Machine Learning und so weiter. Was prinzipiell okay ist, aber viele Leute in der Medizin haben große Sorgen darüber. Aus deren Sicht hat die Computerwissenschaft nicht dieselben Standards wie die Medizin. Der IT-Ler sagt eher, nein, wir müssen hier keine Studie zu durchführen. Es ist auch klar, dass das hilft. Es ist offensichtlich. Und das macht mir Sorgen. Ich komme aus dem Bereich Computerwissenschaften und ich verstehe, warum die Mediziner sich hier so auch machen. Es gibt eine Idee, die noch weitergeht als die Vorregistrierung. Und das ist die Registrierung von Berichten. Vor ein paar Jahren haben Wissenschaftlern einen offenen Brief an die britische Zeichnung Guardian geschrieben. Und der Inhalt des Briefes ist, dass man den Publikationsprozess komplett umdreht. Also, wenn ich eine Studie machen will, muss ich zuerst das Studiendesign, dem Journal schicken, das später polizieren soll. Das Journal entscheidet dann, bevor Ergebnisse existieren, ob das so publiziert wird. Und erst danach wird die Studie durchgeführt, was ein Publikationbyers verhindert, denn niemand kann die Werte manipulieren. Und dann wird die Studie durchgeführt und wird publiziert, egal, was das Ergebnis war. Es gibt natürlich auch andere Methoden, die Wissenschaft zu verbessern. Es gibt viel Diskussion im Bereich Daten, Code, Methoden, Teilen. Wenn ich eine Studie reproduzieren will, ist es natürlich einfacher, wenn ich alle Details habe über die ursprüngliche Durchführung. Dann kann ich sagen, okay, wir machen jetzt Zusammenarbeit in ganz großem Stil, denn viele Studien sind einfach zu klein. Wenn ich eine Studie mit 20 Leuten mache, kriege ich oft kein verlässliches Ergebnis. Oft wäre es also besser, wenn sich 10 Teams von Wissenschaftlern zusammentun und zusammen eine große Studie machen, die verlässlich eine Frage beantworten kann. Einige Leute schlagen auch vor, dass man eine kleinere, höhere statistische Grenzwerte etabliert, da ein P von 0,05 fast nichts bedeutet. Es gab vor Kurzem einen Paper, was vorschlug, dass man den Punkt einfach ein nach links rumpft für P equals 0,05, was schon viele Probleme lösen würde. In der Physik zum Beispiel haben sie etwas namens Sigma 5, was 0,50 und dann eine 3 bedeutet. Das ist hier in der Physik ein sehr, sehr deutlich höherer statistischer Standard. Also wenn ihr in irgendeinem wissenschaftlichen Feld arbeitet, könnt ihr euch fragen, wenn ich Ergebnisse habe, sind die irgendwie vorregistriert worden? Publizieren wir negative Ergebnisse? Also wir haben nach einem Effekt gesucht und nichts gefunden. Gibt es Replikationen von unseren relevanten Werten? Und ich würde sagen, wenn du all diese Fragen mit Nein beantwortest, dann machst du wahrscheinlich nicht Wissenschaft. Was du machst, ist die Alchemie unserer Zeit. Thank you very much. No, I have more. Sorry. Nein, ich habe mehr. Das war nicht das Ende. Please. Großes Problem ist auch, dass es negative Anreize in der Wissenschaft gibt. Eine Standardmethode, um zu evaluieren, welche Wirkung eine Studie gehabt hat, ist einfach die Zitierung zählen, der sogenannte Impact Factor. Aber es gibt auch andere Methoden, das zu missen. Wir mögen natürlich auch Publicity. Wenn deine Studie in den Medien landet, mag dich die Universität. Und diese Anreize favorisieren interessante Ergebnisse im Gegensatz zu korrektenden Ergebnissen. Und das ist schlecht, denn wärmerrealistisch sind die meisten Ergebnisse nicht sehr interessant. Die meisten Ergebnisse werden sein, oh ja, wir haben diese interessante, völlig gegen die Intuition gehende Theorie. Und wir hatten Unrecht. Dann ist die Frage, korrigiert die Wissenschaft sich selbst? Wenn man Wissenschaftler mit Problemen wie P-Hacking und Publication Bias konfrontiert, dann werden sie sich durchsicher sofort ändern. Das machen Wissenschaftler doch, klar? Naja, und ich würde gerne etwas zitieren. In Trume, es ist ein bisschen lang, aber es gibt einige Hinweise, dass in Feldern, in denen statistische Tests der Signifikanz oft genutzt werden, wird Forschung die nicht signifikante Ergebnisse liefert, oft nicht publiziert. Solche Ergebnisse werden auch signifikante Ergebnisse sind oft nicht unabhängig verifiziert. Von Theodor Sterling wurde gesagt, bei Wissenschaft selbst korrigieren ist, hat er in 1959 gesagt, das ist ein Artikel, zeigt Fakten, dass die repulsierte Resultate von wissenschaftlichen Untersuchungen sind nicht ein repräsentatives Beispiel der Resultate. Diese Resultate zeigen, dass es die Praxis, die wir gerade haben, bei uns ist und dass sich das nicht geändert hat für die letzten 30 Jahre. Wenn also Wissenschaft wirklich selbst korrigieren ist, dann ist es extrem langsam, das wirklich zu tun. Und nun schlussendlich möchte ich fragen, seid ihr bereit für langweilige Wissenschaft? Warum, weil das Resultat, wir können uns ausführen. Wir können wehren zwischen TED Talk-Wissenschaft und langweiliger Wissenschaft. Diese TED Talk-Wissenschaft, da kriegen wir meistens positive und überraschende Eretaten, das ist immer interessant. Wir haben große Effekte, viele Zitierungen, sehr viel Medienaufmerksamkeit und das Beste ist, man kann natürlich ein TED Talk darüber haben, aber normalerweise ist es nicht so ganz wahr. Auf der anderen Hand langweilige Wissenschaft aus einer Tiefe, das sind meistens negativere Resultate, die sind kleine Effekte, das ist langweilig, aber es ist wahrscheinlich näher an der Wahrheit. Und ich würde sagen, ich bevorzuge langweilige Wissenschaft, aber ich weiß, es ist ziemlich schwer zu verkaufen. Du meidest den Zwischenruf, aber ich habe gerade nicht gehört. Vielen Dank für die Aufmerksamkeit. Wir haben nicht so viel Zeit für Fragen, aber drei Minuten, eine Frage. Los. Ich möchte bemerken, dass du was verpasst hast, und zwar, du hast es die P-Werte zusammen mit den wissenschaftlichen ... Die P-Werte und die wissenschaftliche Methode ist nicht das Gleiche davon nicht vermixen. Der P-Wert berechnet eine Wahrscheinlichkeit so. Es gibt eine Abschätzung, ob die Hypothese war. Das ist wahrscheinlich eine schlechte Methode, das zu machen. Und das ist vielleicht eine dritte Methode zu zu langweiliger Wissenschaft. Ich stelle mir dir zu. Ich hatte leider nur eine halbe Stunde Zeit. Wo gehst du nachher hin? Nach diesem Vortrag finde ich dich irgendwo, damit wir das noch beziehen können. Wissenschaft ist zwar kaputt, aber es gibt immer den nächsten Punkt. Vielleicht noch eine Frage in der letzten Minute. Hallo, vielen Dank für deinen Vortrag. Mich würde wundern. Es gibt vielleicht verschiedene Arten, dass ... Das passiert manchmal auch aus Ignoranz. Was machen wir über die schlechten Spiele? Zum Beispiel diese ganze Medizin-Community, diese Medikamentenfirma, Pharma-Branche, dass die wirklich bessere Sorte haben möchten. So was machen wir die Leute, die bösartigerweise P-Hacking machen? Das ist echt eine große Frage. Die Standards ... Da gibt nicht viel Raum zu betrügen. Ich glaube auch nicht, dass es wirklich ein Problem ist, dass Leute wirklich absichtlich betrügen. Das große Problem ist wirklich, dass die Leute glauben, dass das, was sie tun, wirklich wahr ist. Wir haben Zeit für eine letzte Frage, bitte. Der Wert der Wissenschaft ist offen, die Anzahl der Publikation. So, wenn das wirklich wahr ist. Du hast vorgestellt, dass es Purnists gibt, das anders machen. Also, dass die Journalist wirklich in die Mangel genommen werden müssen, damit sie den Standorteur nehmen, dass sie den Paper akzeptieren, das nachprüfen. Also, denkst du, es sind die Journalist, die da wirklich mehr reintun wollen? Oder sind wir als Wissenschaftlerinnen und Wissenschaftler gefragt? Es gibt Journalist, die haben these registry reports. Also, es gibt diese Standards bereits. Aber natürlich, als Einzelwissenschaftlerin hast du wenig Macht, weil du bist nur ein Spieler im ganzen System. Okay, das ist es. Und damit verabschieden sich aus der Übersetzerkabine Frau Blauwal und Duckman. Sie hörten Broken Science. Bitte, wende dich mit Feedback an.