 Bon, prêt à commencer ? OK. OK. Cette conférence est par Hanno Buck, in search of evidence-based IT security à la recherche de la sécurité informatique basée sur des preuves. Et il veut faire l'introduction lui-même. Donc je lui laisse la place tout de suite. Applaudissements pour Hanno. Bonjour. Bonjour. Alors je suis Hanno Buck, je suis journaliste et je suis un hacker, comme j'aime le dire. J'essaie d'éviter le terme de chercheur en sécurité et j'espère que vous comprendrez pourquoi au fil de stock. J'écris principalement pour Golem, généralement sur la sécurité. Je suis également en charge du Fuzzing Project, qui cherche à trouver des vulnérabités dans les logiciels open source. Et c'est financé par la Leading Foundation. Alors, comme je travaille sur la sécurité, je vais souvent à des conférences de sécurité, pas seulement des conférences comme celle-ci, mais aussi des conférences où il y a des zones pour des sponsors où on essaye de vous vendre des produits de sécurité. Donc j'ai quelques photos, comme par exemple eux, qui vendent des systèmes de défense, nouvelles générations contre les attaques avancées, ce système d'intelligence artificielle de sécurité, ce système qui a pour slogan « tout bouge dans le cloud, pourquoi pas votre sécurité » et cette entreprise qui dit que c'est la seule qui vous garantit une protection contre le ransomware. Et moi, quand je vois ces trucs-là, je suis un petit peu sceptique. Je me dis que la plupart des mots qui s'utilisent ne veulent pas dire grand-chose, que c'est un petit peu juste du blabla marketing, je ne sais pas vraiment ce qu'ils font, ou alors si je sais ce qu'ils font, ça ne me semble pas très juste. Et je ne suis pas le seul à être sceptique de ces choses-là. Je ne sais pas si vous connaissez cette personne, c'est Tavison Mendy, qui travaille pour Google, et il fait des recherches sur des systèmes de sécurité. Et ce qu'il a trouvé, c'est que pas mal de ces systèmes de sécurité ne sont pas vraiment sûrs. Donc il a compris que cet antivirus utilise du justiel open source et qu'il utilise mal, et que du coup il y a un buffer overflow dedans, alors ça va plus vite, mais bon. Ou que train de micro à notre antivirus avait laissé un système de debug à distance qui tournait, ou que Palo Alto Network avait des vulnérabilités à cause de la serveur web qui était plus supportée, ou il essayait de contacter un autre éditeur d'antivirus, mais il n'y arrivait pas, alors qu'il cherchait à leur remonter des failles. Et du coup, on a des journaux qui titrent des choses comme ça, comme PCWorld, qui disent que vos antivirus peuvent peut-être mettre votre entreprise en danger, ou d'autres journaux qui disent qu'un des responsables de sécurité de Google pense que les antivirus ne valent pas grand-chose, ou se développent par Chrome qui dit que les antivirus sont à la sécurité, ce que l'homéopathie est à la médecine, ou cette personne qui travaille pour Firefox qui dit que les antivirus causent plein de problèmes de sécurité avec Firefox. Alors ça, c'est d'une enquête de Google, où Google demandait à des utilisateurs et des expériences de sécurité quels étaient les pratiques les plus importantes en matière de sécurité. Vous pouvez voir que les utilisateurs pensent que les antivirus sont la chose la plus importante, alors que les expériences en sécurité pensent pas que c'est si important que ça, c'est même pas dans le top 5. Alors, ce qu'on peut en conclure, c'est qu'il n'y a pas vraiment de consensus entre les expériences en sécurité et le public sur est-ce que les antivirus sont vraiment une bonne idée. Alors, comment est-ce qu'on peut savoir si ça marche en vrai? Et pour réfléchir sur ça, j'aimerais parler de quelque chose de complètement différent. Alors, l'industrie des antivirus aime utiliser des métaphores et des analogies du monde médical. On parle de virus, on parle de virus comme ce qui affecte les humains. Donc voici une autre forme d'antivirus, des pilules de vitamine C pour quelqu'un qui a un rhume l'éternue et la plupart des gens pensent que c'est une bonne idée si on a un rhume de prendre de la vitamine C. Alors, en vrai, c'est probablement pas si utile. Et comment est-ce qu'on sait ça? Évidemment, grâce à la science, on utilise la science pour déterminer si les choses marchent ou pas. Et pour la vitamine C, voilà un extrait d'une étude. La consommation régulière de vitamine C n'avait pas d'effet sur le rhume pour une population normale. Donc si vous êtes un adulte normal et vous prenez de la vitamine C, vous avez les mêmes chances d'attraper un rhume que n'importe qui. Alors, il est possible que ça raccourcisse la durée du rhume un petit peu. Et si vous prenez de la vitamine C une seule fois, alors que vous avez déjà un rhume, ça n'a pas d'effet non plus. Donc, cette étude vient d'une organisation qui fait des méta-analyse. Mais cette organisation de la Coopering Collaboration est tenue en haut regard par le monde scientifique. Alors, si on veut savoir si un médicament ou des suppléments alimentaires, par exemple la vitamine C et si ça marche, on fait généralement des tests aléatoires contrôlés. On prend un groupe de gens qui ont probablement une maladie donnée et on les sépare aléatoirement entre deux groupes. Il est très important que cette séparation soit aléatoire parce qu'on ne veut pas avoir un billet statistique que un groupe est peut-être plus malade que l'autre au début de l'enquête et ça, ça ferait que nos résultats n'auraient pas la signification qu'on attend. Une façon simple de faire ça, c'est tout simplement un des groupes reçoit le médicament, l'autre reçoit un placebo. En pratique, on fait souvent des choses un petit peu plus compliquées parce qu'on sait généralement qu'il y a un médicament et on sait pas si il marche. Du coup, on va comparer le nouveau médicament avec l'ancien. Parfois, on a aussi quelque chose qui n'est pas un médicament comme par exemple, faire de l'exercice. Par exemple, on va avoir un groupe qui prendra un médicament et l'autre qui fera de l'exercice et on pourra comparer si l'un marche mieux que l'autre ou peut-être que les deux ensemble marchent mieux. Mais bon, l'idée générale on prend deux groupes de personnes et on teste pour voir ce qui marche le mieux. Il y a quand même des choses qui ne peuvent aller mal. On essaie de voir tout ce qu'on a comme évidence. On va faire une méta-analyse on cherche toutes les études qui s'occupent du thème généralement avec ces contrôles aléatoires et c'est généralement compliqué les études vont avoir différentes populations ça ne veut pas être simplement comparé mais c'est l'idée donc on prend plein d'études et on combine les résultats pour avoir des preuves donc c'est ce qu'on appelle on appelle ça la médecine basée sur les preuves et on essaie de connaître de prendre des décisions sur des preuves c'est pour ça qu'on utilise des méta-analyse oui mais j'aimerais bien préciser qu'il ne faut pas non plus avoir une vue trop idéale de la science parce qu'il y a beaucoup de problèmes par exemple le top 1 c'est le papier le plus utilisé et c'est pourquoi est-ce que la plupart des résultats de recherche sont faux ça a été publié en 2005 et ce n'est pas très controversé controversé le celui du milieu c'est quelque chose qui est relativement débattu dans les dernières années c'était une grosse expérience pour répliquer les résultats qu'on a eu en psychologie et on était uniquement capables de répliquer les résultats dans 7% des études donc la plupart des études sont soit fausses or la application a été fausse ou il semble y avoir un problème mais ce n'est pas seulement pour la psychologie il y a les mêmes problèmes dans notre champ d'application il y a la même chose dans la recherche et le dernier c'est que beaucoup de résultats ne sont jamais publiés c'est important la science que nous voyons n'est pas toute la science qu'il y a eu nous avons souvent une situation où les gens font une étude sur le résultat si c'est intéressant ils essaient de le publier et sinon ils le jettent tout bêtement si vous voulez évaluer ce qui est de la bonne science et de la mauvaise science il y a certaines choses auxquelles on peut regarder si on a un petit nombre de recherches on a des études on a essayé ça avec 10 personnes et c'est pas forcément très signifiant statistiquement c'est problématique sinon il y a autre chose de très c'est la qualité du rapport lorsque le média publie les résultats c'est où une corrélation est publicité consistée comme il y avait une causalité donc on a propriété a, on a propriété b on pourrait penser que a cause b mais ça pourrait aussi être que b cause a ça pourrait être aussi que c'est un confondant mais qu'il y a quelque chose qu'on connaît pas forcément mais qui cause a et b donc c'est généralement un problème dans les études où on utilise des données existantes pour essayer de trouver quelque chose dedans et c'est ça qu'on fait ces données de contrôle aléatoires où on peut pour pouvoir étudier pour pouvoir exclure un autre facteur et sinon nous avons une seule étude et pour la bonne science on veut que ce soit on peut pouvoir le réveiller le répéter indépendamment sinon nous avons le biais de publication donc ne voyons pas toutes les études qui sont faites et nous pouvons avoir une situation où les compagnies pharmaceutiques font un essai clinique mais ça n'aide pas vraiment donc ils ne publient pas le résultat ils font un autre essai et ça a l'air d'aider et donc ils publient et si on voit que le positif et on ne voit pas les études négatives et on essaye de combiner les résultats pour les analyser on va avoir un résultat qui est biaisé un autre problème c'est outcome switching c'est un petit peu partir à la pêche pour les résultats on a récupéré des données mais ça ne correspond pas à notre théorie donc si j'utilise simplement une partie de mes données je pourrais peut-être prouver quelque chose de similaire à ma théorie et si vous cherchez suffisamment longtemps vous allez trouver quelque chose qui va ressembler à la science donc ce n'est pas généralement un problème de le faire mais vous devriez être transparent si vous cherchez quelque chose et que plus tard vous cherchez autre chose vous devriez au moins dire que vous avez fait ça idéalement vous montrez toutes les études qui sont basées sur les statistiques et c'est une empirie et on veut les pré-enregistrer c'est-à-dire qu'on publie avant de collecter les données qu'est-ce qu'on va faire on va faire un contrôle un essai qui est contrôlé on enregistre ça et si plus tard, si on change ce qui va être publié les gens peuvent le voir et c'est transparent en médecine ça commence à arriver c'est pas encore idéal il y a encore des problèmes mais dans plein d'autres charges d'application il n'y en a strictement aucune ça n'est pas fait on va revenir du coup à la Sécurité Anthropomatique alors voilà ça c'est un slide qu'est vide c'est pas une erreur c'est la liste complète les études aléatoires qui ont été faites sur des systèmes de sécurité avec la méthodologie dont on parlait le slide est noir alors il y a des gens qui font des choses qui ressemblent un petit peu à des tests scientifiques avec des antivirus mais la méthodologie qui utilise à mon avis à beaucoup de failles c'est qu'ils ont une collection de malware ou de virus qui est probablement représentative on espère en tout cas de ce qu'on trouve dans le monde réel et ils le test avec plus d'antivirus alors ça ça a plusieurs problèmes c'est pas parce qu'on détecte pas un virus qui l'aurait infecté l'utilisateur par exemple un virus pourrait essayer d'utiliser une faille sur un navigateur qui n'utilise pas un navigateur vulnérable à ça la détection n'est pas importante et on peut utiliser d'autres choses que des antivirus par exemple on peut utiliser des mises à jour régulières de ces logiciels on peut utiliser du white listing on n'autorise que des programmes listés à l'avance donc ça c'est pas de la science c'est juste comparer des produits différents les uns avec les autres généralement s'étudient on se pose pas la question de est-ce qu'un antivirus peut être à risque de sécurité supplémentaire et ça c'est fait dans des conditions qui sont artificielles c'est fait dans des laboratoires et ils testent pas avec des vrais utilisateurs du coup c'est pas surprenant de voir des statistiques qui soient pas vraiment des statistiques qu'on puisse remettre en question dans le domaine de la sécurité informatique l'exemple le plus simple c'est il y a les CVI ces identifieurs qu'on attache à des failles qu'on trouve et l'exemple qu'on trouve généralement c'est de compter le nombre de CVI donc de failles répertoriées avec un numéro comme ça et les gens vont dire voilà Windows en attend et tel système en attend alors il faut savoir que même la personne qui a inventé les CVI pense qu'il faut pas utiliser ce genre de comptage alors à mon avis la sécurité informatique n'est pas basée sur des preuves scientifiques et c'est quelque chose qui m'embête un petit peu parce que je travaille sur la sécurité informatique et je suis quelqu'un qui pense de façon scientifique si quelqu'un me dit tel truc c'est bon pour la santé je vais demander est-ce qu'il y a une étude qui le prouve et s'il n'y en a pas c'est la même chose dans la informatique si on me demande qu'est-ce qui marche qui marche pas il n'y a pas encore vraiment de preuves alors il y a quand même plein de papiers de recherche et de conférences sur le domaine de la sécurité alors voilà une liste des papiers les plus souvent cités papiers de recherche plus souvent cités dans ce domaine et bon déjà il faut savoir que compter le nombre de citations des papiers c'est aussi quelque chose de quel il n'y a pas le controverse je pense que ça nous dit au moins quels papiers scientifiques sont intéressés les autres chercheurs et donc il y a des papiers de 2012 et 2013 le premier dit wow désolé ça je ne peux pas le traduire c'est une question d'obfuscation de la non-distinguabilité des candidats donc si quelqu'un va sur internet et cherche facebook et browser et qu'est-ce que ça veut dire pour lui si vous avez une réponse à cette question parler avec moi j'aimerais bien la voir votre réponse et je pense que vous pourriez poser cette question sur à peu près tous les auteurs de ce papier il a fallu que j'arrive jusqu'au papier numéro 11 pour trouver quelque chose qui ressemblait à du vrai software c'était un papier sur un malware android et le 20ème aussi c'était Lucky 13 et celui-ci il m'a fait me poser des questions parce que c'est le genre de papier qui m'intéresse puisque je fais beaucoup de crypto et c'est une attaque sur la crypto c'est une attaque au timing de synchronisation et c'est très difficile de le faire de réussir à attaquer avec de cette façon c'est tellement difficile que je suis quasiment certain qu'elle n'a jamais été utilisé dans la nature contre un utilisateur mais c'est le genre de papier qu'on trouve intéressant puisqu'on dit ils ont été capables de faire cette attaque intéressante c'est super il faut qu'on se demande comment est-ce qu'on fait la cryptographie et je suis très fière d'avoir trouvé une petite erreur dans ce papier c'était pas très important mais oui dans toute cette liste avec 26 papiers qui sont les plus cités il n'y en avait pas un seul qui avait quoi que ce soit à voir avec des vrais utilisateurs qui essaient de voir qu'est-ce qu'il se passe quand un vrai utilisateur utilise internet fait quelque chose avec les sécurité donc il semble que l'utilisateur n'est pas quelque chose pour les chercher en sécurité donc mon impression c'est que la plupart des recherches académiques est comparable à de la recherche de base donc on va parler d'obfuscation c'est quelque chose qui pourrait être intéressant pour certains produits dans le futur et c'est bien mais on est en train de rater la recherche appliquée et si on regarde à la recherche la plus pratique ce sont des sou problèmes intéressants mais pas les problèmes les plus intéressants oui c'est ok mais je pense qu'il y a une énorme r de recherche qu'on est en train de rater donc qu'est-ce qu'on pourrait faire si on disait on veut faire un contrôle aléatoire donc chercher beaucoup d'utilisateurs et séparer les groupes et il y a certains groupes qui utilisent différentes outils de sécurité certains utilisent des traitements alternatifs comme par exemple utiliser des mises à jour régulière l'application va être listée donc c'est probablement les alternatives les plus simples aux antivirus certains vont avoir un entrainement on leur dit ne cliquez pas là-dessus je ne pense pas qu'entraîner les utilisateurs est une bonne stratégie mais je pense qu'on va la tester quand même on peut avoir un test placé beau juste faire ce que tu faisais avant et ensuite on essaie de voir les incidents de sécurité ça va être pas difficile de savoir ce qui a été un problème de sécurité et ce qui n'a pas été nous pouvons aussi essayer de mesurer quels ont été les effets de bord est-ce que ça a été plus lent est-ce que ça a été plus cher est-ce qu'il a été n'était plus disponible et après un certain temps on va pouvoir comparer les résultats j'ai discuté là-dessus avec beaucoup de gens et la première chose ça a été oui mais c'est très difficile c'est la première réaction oui mais il y a ce problème et ce problème et oui je suis d'accord complètement c'est très dur la science est difficile ça veut pas dire qu'il ne faut pas le faire applaudissement dans la salle donc quelques problèmes qu'on va avoir la première chose c'est l'éthique si vous donnez des certains produits sécurité à certains utilisateurs et d'autres et pas à d'autres est-ce que vous les mettez en danger oui mais c'est très comparable avec la médecine si vous essayez un nouveau médicament vous le donnez à certaines personnes et pas à d'autres donc si ça pouvait aider effectivement ça pourrait ne pas laisser d'aider mais il est aussi possible que ce médicament ait un risque donc généralement on a l'idée en médecine que si on ne sait pas si ça aide il faut le tester et que c'est la façon éthique puisque ça pourrait potentiellement aider beaucoup plus de gens dans le futur donc on peut se poser la question comment est-ce qu'on mesure des incidents de sécurité il y a des fois où on ne sait même pas si c'était un hack est-ce que tu as été hacké, est-ce que tu le sais, est-ce que tu le sais pas donc on va probablement avoir des résultats très différents selon que quelqu'un est affecté par les maloués internet standard ou est-ce que c'est un attaque ciblée par un professionnel un attaque en professionnel et je ne dis pas que c'est facile je dis qu'il y a beaucoup de problèmes à résoudre mais je pense que les applications de sécurité pour les anticirusses je pense qu'il y a aussi beaucoup de choses qu'on pourrait tester comme par exemple il y a la base sur les sécurité des langages informatiques comme par exemple Rust contre C++ je ne sais pas mais j'aimerais bien voir des études là-dessus mais c'est peut-être l'application est-ce que le browser A est plus sécurisé que le browser B et finalement un exemple qui est d'un côté bon, d'un autre côté mauvais c'est le tweet du FDC de la fédération d'organismes US qui dit qu'enquagé vos amis a changé vos mot de passe souvent alors à un moment donné ils se sont rendu compte qu'ils n'avaient aucune preuve scientifique qu'il fallait changer ces mot de passe régulièrement et ils se sont demandé pourquoi est-ce qu'on recommande aux gens de faire ça et ils ont dit on le recommande parce que c'est ce qu'on fait nous donc ça doit être une bonne idée et ensuite ils se sont mis à recommander l'inverse en disant on réfléchit on a regardé la preuve, on a fait des études et en fait, changer son mot de passe régulièrement c'est probablement pas une bonne idée et peut-être que vous devriez pas changer votre mot de passe régulièrement alors j'ai regardé aux études qui citaient sur ce sujet et j'étais pas vraiment convaincu je pense que la qualité de ces études n'était pas très bonne la plupart étaient basées sur l'observation il n'y avait pas d'intervention par les chercheurs sur les groupes étudiés ils avaient des données sur les mot de passe d'une entreprise qui à un moment donné avait ils n'avaient pas donné une entreprise qui à un moment donné avait une politique de changer mot de passe ils avaient des données d'entreprise qui avaient changé la complexité requise des mot de passe mais ça pourrait tout ce qu'ils avaient la plupart de ces études cherchent à mesurer la qualité de mot de passe par leur entropy et c'est pas vraiment si on y réfléchit c'est pas vraiment à ça qu'on devrait s'intéresser la question c'est est-ce qu'on est haqué ou pas l'entropy c'est une façon mathématique de dire si oui ou non c'est peut-être un bon mot de passe mais il y a d'autres facteurs par exemple si on réutilise un mot de passe c'est aussi très mauvais il y a des utilisateurs qui utilisent le mot de passe pour beaucoup de services différents et c'est une mauvaise idée donc il y a un terme comme ça qui est en médecine comment t'appellera ça donc la bonne chose c'est que le FTC a trouvé qu'ils n'avaient pas de preuves de leur accommodation mais ils ont trouvé qu'ils avaient des preuves que leur accommodation n'était pas bonne mais ce que le problème avec ça pour moi c'est que les preuves qu'ils ont trouvées n'étaient pas très bon alors je voudrais maintenant parler de quelque quelque chose je pense que c'est la bonne approche mais que ça a des limites et qu'on devrait y penser il y a des choses contre lesquelles on va se protéger des menaces qu'on ne peut pas vraiment mesurer peut-être parce que c'est des menaces qui n'existeront que dans le futur par exemple pour le moment on parle de la cryptographie post quantique est-ce qu'on doit se protéger contre des attaques par des ordinateurs quantiques on n'a pas d'ordinateur quantique aujourd'hui donc on ne peut pas mesurer le danger de ces attaques mais on devrait probablement quand même se protéger contre ça et on a des scénarios d'attaques qui sont très très obscures et si c'était un pays qui compromettaient un développeur des biens et qui pouvait signer des paquets etc et bon ça c'est quelque chose que la communauté des reproducible bills est en train d'essayer de régler et je sais pas si une attaque de ce genre c'est déjà produite mais c'est probablement quelque chose contre lesquelles ça vaut le coup de se protéger et c'est dur et il n'y a pas d'attaques d'études scientifiques de ça il y a quelque chose qui sont quand un vendeur propose une production complète contre le malware c'est juste un mensonge c'est impossible puisque c'est à cause d'un problème le holding problem qui est une théorie très basique de l'informatique et c'est comme dans la médecine il y a quelque chose qui dit on ne devrait même pas essayer de tester l'homéopathie parce que ça ne peut pas être vrai basé sur les doigts de la physique donc je pense qu'aujourd'hui l'informatique est très peu basée sur l'informatique on se base sur l'expérience on se base sur le marketing mais nous devrions avoir des preuves mais pour l'instant nous n'avons pas la science pour le faire merci donc j'ai dit qu'on devrait probablement pas avoir de questions mais si quelqu'un peut être très rapide on peut prendre une question oui, microphone 3 si vous m'en parlez, oui si vous avez généralement en médecine, tu fais une étude en double aveugle donc ni la personne qui participe ni le participant ni l'exploitateur ne sait qui prend la médecine qui ne l'apprend pas est-ce que vous pensez que c'est quelque chose qu'on pourrait implémenter puisque les gens vont agir de façon différente s'ils prennent un placebo s'ils prennent quelque chose ou pas donc la question est-ce qu'on peut le faire ou pas il y a des situations où on ne peut pas le faire si c'est quelque chose que l'utilisateur doit faire activement mais si possible, oui c'est beaucoup mieux malheureusement nous avons plus de temps pour les questions mais comme je disais Hano est prêt à répondre aux questions et voilà merci