 de esta edición. ¡Gracias! Bueno, gracias por la introducción y muchas gracias por presentarme. Muchas gracias por venir. Gracias por venir en este Congreso, que yo sé que tiene muchas cosas muy emocionantes por tomar el tiempo de venir a esta charla. Yo también estoy muy emocionada de encontrarme con personas nuevas, de encontrarme con personas amigables. Y me gustaría, bueno, claro, podemos ser amigos. Les voy a hablar ahora acerca de los puntos ciegos de las redes neuronales o de cómo podemos engañar a las redes neuronales a la inteligencia artificial. Yo creo que deberíamos ponerla en la inteligencia artificial entre comillas y cómo hablaremos de cómo podemos engañarle. Ahora, la primera pregunta es que la inteligencia artificial se está convirtiendo en una más inteligente ahora. ¿Qué es lo que pasa cuando abrimos un navegador de internet? ¿Qué es lo que le tendríamos que echarle un vistazo? ¿Y qué es lo que tenemos de machine learning allí? Es que las computadoras son ahora ya más inteligentes que nosotros. Desde luego, esta es una pregunta muy general y, bueno, nosotros tratamos con computadoras todo el tiempo, nosotros les arreglamos, les movemos las cosas. Y, bueno, nosotros sabemos que no es cierto, nosotros sabemos porque trabajamos con computadoras todo el tiempo, sabemos que son bastante torpes, sabemos que no pueden hacer gran cosas y nosotros no les decimos cómo. Y con los mismos titulares que vemos aquí de la prensa, podemos ver, por ejemplo, esto. Por ejemplo, Apple ha liberado recientemente su reconocimiento de rostros y sabemos que el rostro de las personas es muy, muy particular, nadie te puede robar tu casa. Sin embargo, también sabemos que el reconocimiento, sabemos también que los algoritmos nos han funcionado todo el tiempo bien. Y, aunque, a pesar de que tu rostro es muy tuyo, podemos ver a esta persona que compró un iPhone, esta persona china, esta mujer en china y cuya colega fue capaz con su rostro de desbloquear el teléfono. Vamos a hablar de esto después y vamos a hablar de cómo los datos de los algoritmos de entrenamiento, los datos con que se entrenan, los algoritmos pueden ser utilizados para después modificar el, como los de la clasificación se hace. Ni siquiera podemos descubrir qué es lo que tenemos en producción y si ni siquiera podemos entender lo que estamos usando, no tengo mucho miedo de un súper robot venir a matarme. Aún así, mucha gente poderosa sí que lo cree. Ellos creen que Machine Learning puede hacer mucho y están conectando datos todo el rato sobre ti, sobre mí y sobre todos los demás. Y están creando modelos con esos datos. Eso es porque la revolución que vemos con Machine Learning no tiene mucho que ver con algoritmos o con arquitecturas. Tiene mucho que ver con mucho computar y con datos, con sets de datos masivos y gigantes. Y básicamente lo que hacen es simplemente corregir las partes que no funcionan muy bien. Y la mayor parte de donde investen su dinero es en simplemente coleccionar más datos. A mí me sorprendió que el tráfico a Google en Alemania es mucho más grande que en el resto del mundo. Y lo que vemos es que esta gente colecciona los datos y usa hardware como CPUs y GPUs para analizar más cantidades de datos y así hacer menos errores. Y esta gente no va a perder interés en este tema. Así que lo que tenemos que hacer es prepararnos para cómo tratar este tema. Y la investigación que hacen estas empresas es lo que vamos a hablar hoy. Y eso es Machine Learning Adversario. Vamos a hablar primero de qué es lo que hay detrás de esta inteligencia artificial. Si hablamos, por ejemplo, de programas como Siri y todas estas cosas, de qué es lo que estamos hablando. Estamos hablando muchas veces en sistemas de reglas en el modo clásico. Nosotros podemos programar esto porque sabemos cuál es lo que se tiene, qué es lo que se tiene que decidir o qué es lo que se tiene que hacer en cada situación. Hay otra forma que generalmente o que con frecuencia se usa en robótica, por ejemplo, son sistemas que pudieran aprender como los humanos. No vamos a tocar el tema de reinforcement learning, pero tiene que ver con el comportamiento y cómo se... cómo emerge el sistema de a partir de tener varias tareas y de darle importancia y de darle un peso a las tareas. Y se utiliza mucho, por ejemplo, en robótica, se utiliza en juegos. Esto es básicamente algo con lo que interactuamos. Y bueno, un sistema muy utilizado en estos sentidos son las redes neuronales o como se le llama ahora con frecuencia deep learning, aprendizaje profundo. Lo que tenemos aquí es una red neuronal. Que lo que hace es básicamente generar una versión cuantificada de lo que sea que nosotros tengamos nuestro dato. Tenemos en el centro una capa oculta. Podemos tener diferentes capas ocultas que es lo que daría origen a un número de capas ocultas en la red y de donde sale el deep learning o el entrenamiento profundo por la profundidad de estas capas. Allí en estas leyes es donde el entrenamiento o el aprendizaje sucede. Y además de ello, tenemos una capa de salida. Dependiendo de lo que la red quiera hacer o esté buscando lograr, la salida de esta red va a cambiar. Por ejemplo, si queremos traducir entre idiomas la salida de esta última capa será el lenguaje objetivo y si queremos clasificar, bueno, aquí tendríamos un valor sobre la clasificación de los ejemplos que ponemos en la capa de entrada. Esta se hace por back propagation. Es el nombre del algoritmo con que se entrenan estas redes. Esto no es algo nuevo. Y cuando hacemos esto en la parte de back propagation vamos hacia atrás por eso el nombre back propagation. Partimos de la información de salida que es la que buscamos hacia la capa de entrada. Y entonces hacemos una evaluación sobre si el cálculo se fue correcto o fue incorrecto. Y hacemos pequeñas variaciones y con el tiempo eventualmente vamos a llegar a alcanzar un óptimo general. Bueno, esta es una visión muy general de cómo se entrenan las redes neuronales. Ahora, de lo que quisiera hablar ahora es que esto puede ser engañado con relativa facilidad y quiero hablar sobre ello. Esto se ha sabido ya desde hace tiempo. En 2005 uno de los primeros papers que comenzó con aprendizaje adversario quería ver si podían comenzar como un atacante informado y atacar un identificador. Y lo que consiguieron mostrar es que sí no tenían que probar por trial and error. Lo que consiguieron es crear algoritmos con los que podían descubrir qué palabras importantes tenían que cambiar para engañar a filtros de spam. Y lo que en 2007 hicieron unos cuantos workshops con varios objetivos y había un grupo que trabajaba con Machine Learning y Security y también intentaron descubrir maneras de engañar a filtros de malware y de spam y cómo engañar a esos sistemas de Machine Learning que configuran esos filtros. Y en 2013 salió un paper muy importante llamado Poisoning Attack Second Support Vector Machines y lo que usaron es investigar un clasificador lineal aplicado a textos. Así que si tengo un texto y quiero descubrir de qué trata ese texto, si tiene connotaciones positivas o negativas. Y lo que el investigador principal intentó es envenenar los datos de entrenamiento. Y lo que hacen esos sistemas, muchos de esos sistemas tienen aprendizaje activo y lo que hacen es cada mensaje nuevo que llega es añadido a la masa de datos de aprendizaje. Y lo que hizo es envenenar esa cantidad de datos que se usan para entrenar de tal manera que los datos bendignos también fueron identificados como maleficos. Y en 2014 Christian Zasgeti y otras personas, otros investigadores en Google Brain descubrieron unas cuantas propiedades intrigantes o interesantes sobre redes neuronales. Y lo que conseguieron es decir que nosotros creemos que hay propiedades lineales de estos redes neuronales y lo que nosotros podemos hacer es incluso usarlo para engañar a las redes. ¿Cómo es que funciona? Lo primero que necesitamos es conseguir una idea, una intuición de esta gráfica. Esta gráfica es el descenso del gradient de gradient descent. Lo que tenemos es una función de costo. Lo que queremos hacer es minimizar el costo. Queremos minimizar el error de la red. Cuando iniciamos solo asignamos pesos a las conexiones de la red de manera aleatoria y después tenemos un error, en este caso las regiones rojas, y queremos llegar a un error más bajo. Es decir, empezamos en las partes superiores de la gráfica. Tenemos un error grande. Y después nosotros buscamos llegar a la región más baja de la gráfica, a las partes azules. Pero lo que pasa en ocasiones es mientras estamos ejecutando el entrenamiento, nos movemos por pasos lentamente hacia abajo. Lo que puede pasar es ya que los datos son aleatorios al inicio, los pesos, podemos terminar en diferentes lugares, en lugar de terminar en un mínimo global podemos terminar en un mínimo local. Esto quiere decir que no necesariamente tenemos la mejor respuesta en todas las ocasiones. ¿Qué es lo que se hace en este caso? Cuando nos damos cuenta de esto, lo que podemos hacer es tratar de incrementar el error un poco con tal de buscar un punto mínimo menor, más global, para tratar de salir de escapar de los mínimos locales como el que veíamos ahí, en el cual no se obtiene el mínimo global sino local. ¿De qué se trata esto? ¿Qué es lo que vemos como un entrenamiento adversario? Lo que vimos es investigación del Instituto de Investigación de Massachusetts, del MIT, y que trata de ejemplos de entrenamiento adversario en el cual para obtener estos ejemplos de entrenamiento, ellos imprimieron con la impresora 3D esta tortuga y después utilizaron las imágenes generadas con esta tortuga para una red de reconocimiento de imágenes. Lo que me arrojó se puede ver, y es un poco más fácil de ver en el vídeo que he subido a mi página, es que hay una descoloración ligera de la tortuga y lo que hicieron es cambiar la textura de la tortuga de tal manera que activaron diferentes neuronas en la red neuronal. Así que lo que se ve es que en el mundo real se puede modificar la entrada de tal manera para influenciar el resultado. Así que si podemos engañar con objetos tridimensionales, a lo mejor también podemos engañar con otros objetos en el mundo real que queremos engañar a la red. Así que por qué existe el entrenamiento adversarial? Vamos a hablar de algunas cosas que son aproximaciones de nuestro tema, así que perdonadme si no hablo justamente de lo que es nuestro tema. Aquí lo que tenemos es la entrada y lo que tenemos a la izquierda es la entrada inicial y a la derecha tenemos nuestro guía. Lo que es nuestro guía es el objetivo a que queremos aproximar la red. Así que lo que esos investigadores hicieron es atacar en partes específicas de la red y lo que dijeron es vamos a atacar estas diferentes layers. Vamos a ver si podemos atacar partes particulares de la red y lograr que este equipo de granja, estas herramientas que tenemos a la izquierda podemos lograr que se puedan clasificar erróneamente como un ave rosada que es lo que tenemos de lado derecho. Aquí lo que vemos es un pájaro rosado y esto no es visible para nuestros ojos humanos. Lo que sí que se puede ver es un poco así bueno y un poco de rosado y un poco de verde pero lo que podemos ver es que la red neuronal sí que la hemos engañado. Así que la gente no sabe exactamente por qué existen estos blind spots. No sabemos exactamente por qué es tan fácil de engañar las redes. Hay investigadores que creen que esencialmente redes neuronales son muy lineares y podemos usar esta linearidad para clasificar erróneamente las entradas. Lo importante es encontrar estos blind spots y atacarlos cambiando la activación de esas neuronas. Así que si tenéis una tesis en la que estáis trabajando y buscáis una orientación podéis usar este tema para investigar más. Inicialmente tenemos el gradiente Fast Gradient Science y por otro lado tenemos el mapa Jacobuano. En este caso no queremos empezar a hacer cálculos aquí con lápiz pero básicamente lo que queremos es obtener el signo de ese gradiente porque el gradiente es como el error es que cambiaría. Es hacia dónde nos movemos. Ese signo nos dice si vamos en una dirección o en la otra y en qué sentido tenemos que cambiar ahora. ¿Qué es lo que hacemos para entrenar con imágenes adversarias? Es mover, modificar este signo del gradiente. Por eso utilizamos nosotros la base de la base de la base de la base de la base de la base de la base de la base por eso utilizamos nosotros y estamos bien si no recuerdan que es la cuarta derivada de la función de costo y la latitud correcta de la de la matriz jacobiana que nos va a dar acceso a los pixeles particulares que pueden provocar que la red genere, clasifique mal las las imágenes que le estamos dando y básicamente lo que se está intentando hacer en estos algoritmos es tratar de aproximar estos cálculos que les describo de man de maneras más rápidas ok ahora lo que queremos hacer es tratar de engañar una red que es de lo que se hemos estado hablando todo este tiempo bueno como generar ejemplos para entrenar para entrenamiento adversario lo primero que necesitamos es primero conocer el problema saber investigar qué es lo que las redes que es lo que esta compañía en particular o este este proyecto en particular está haciendo con las redes o que lo que busca podríamos pensar que las las más nuevos los algoritmos más nuevos o los conocimientos más nuevos sean difíciles pero bueno lo que lo que sabemos es que hoy esos que son que estamos hablando de cosas que se generaron hace tres o cuatro años esos algoritmos están ahora presentes en los sistemas comerciales es decir pueden ustedes pueden ustedes generar sus propias redes neuronales es en los programas bastante populares que a los que tenemos acceso ahora para para generar estos datos bueno necesitamos un nuevo data set un nuevo set de datos que sea parecido a lo que nosotros pensamos o creemos o descubrimos que esta compañía va a estar utilizando para para generar sus sus sus modelos entonces lo que tenemos una una red entrenada previamente pertraint y entonces la continuamos entrenando terminamos el entrenamiento con con el el set de datos que nosotros creamos para lo cual necesitamos una una librería como estas que les muestro aquí que puede ser y entonces utilizamos algunos de los algoritmos como el jacobiano y los mapas de salencia que les mencionaba previamente y ahora dependiendo de lo que nosotros tenemos como fuente y como objetivo esto va a ser más fácil o más difícil de engañar la red va a ser si queremos por ejemplo engañar una red que identifica que diferencia gatos y perros puede ser mucho más sencillo que otra que diferencia gatos de aviones por ejemplo desde luego esto depende mucho del problema específico entonces buscamos ejemplos particulares y buscamos los puntos particulares en que la red puede ser engañada y calculamos las tasas de error lo que puede es que digas es que no sé lo que la persona está usando que que red está usando yo diría no pasa nada porque lo que podemos hacer es atacar una black box no hay que no tiene que saber exactamente qué es lo que están usando ni siquiera cómo funciona ni siquiera tienes que conocer los datos de entrenamiento porque lo que puedes hacer es no necesitas un API con el que puedes interfaz con el que puedes comunicar y si tienes una API con el que puedes comunicar puedes coleccionar datos de entrenamiento preguntando el API y así entrenar tu propio modelo con los datos que estás coleccionando así que estás coleccionando los datos y estás creando tu propio modelo y se aproxima cada vez más al modelo que quieres atacar y así puedes enganar y esos datos bastan para el dañar el modelo original y lo que demostraron algunos investigadores es que con un máximo de 6400 preguntas ya pudieron engañar a las redes con una probabilidad muy alta y lo que también consiguieron es engañar una red con otra red así que lo que puedes hacer es usar un método de machine learning y usarlo para entrenarlo a engañar a otro modelo de machine learning lo que vemos aquí es un es un hit map una matriz de confusión que nos dice exactamente qué tipo de qué tipo de técnicas de machine learning ellos fueron capaces de engañar es decir podemos engañar una técnica distinta no tienen que ser todas las mismas redes neuronales o tener la misma estructura podemos en lo que demuestra este artículo es que se puede tomar un modelo de caja negra generar uno distinto y engañar al inicial por ejemplo para que niñas neighbors vecinos y deep learnings lo que se ve es que no necesariamente tienes que conocer qué algoritmo es que el que se utiliza originalmente puedes utilizar otra técnica para atacar o para buscar engañar otro modelo lo que vemos aquí son seis líneas de python de código en python es clever hands una librería en python con estas líneas lo que puedo generar es generar un modelo adversario incluso puedo puedo predecir con él bueno para python es bastante sencillo de aprender y en este caso estamos usando keras que es una una librería bastante popular para para deep learning que utiliza que es una interfaz para teano que es donde están realmente generadas las redes y lo que hace básicamente es generar clases una vez vamos a generar un clasificador y por eso le fijamos los parámetros a la red en la tercera línea y finalmente lo que podemos hacer es generar nuestros ejemplos adversarios y predecir con él con un con un programa muy sencillo muy muy corto podemos empezar a a generar ataques de este tipo de ponen de ponen esta es la primera librería de la que yo escuché en año dos dos mil dieciséis en la conferencia de pecan y que también puedes entrenar tus modelos aquí mismo puedes por ejemplo con redes convolutivas que son muy utilizadas en visión por computación otra cosa que puedes hacer es son por ejemplo modelos semánticos y es algo que yo estaba muy emocionada de probar por ejemplo que tenemos aquí es una son las revisiones de películas de la del sitio de rotten tomatoes y esto lo utilizamos para lo utilice yo para para generar un modelo adversario como como entrada y el texto original era more truthful than truth y el adversario es lo que vemos en la última línea y lo que lo que quiere decir esto es yo pude generar un ejemplo erróneo sin embargo a pesar de que descubrí que es sencillo generar respuestas erróneas en este caso particular perdí el sentido de la frase si estamos generando modelos semánticos en modelos de lenguaje y estamos cambiando palabras por palabras y es muy posible que que que al final bueno nos va no necesariamente tienen sentido simplemente cambia unas palabras por otras y en este caso entra nuestro entendimiento como humanos para saber qué es lo que pasa desde luego estar un ejemplo bastante sencillo si esto no es muy muy avanzado todavía es sólo un ejemplo de cómo se generan estos ejemplos y para ello es que es que es para generar modelos más complejos necesitamos diferentes tipos de redes que se que se apoyen entre sí otra otra librería notable de código abierto es van der birt y así que si quieres atacar datos de entrenamiento y envenenarlo puedes usar van der birt dip full ataca el fast gradient sign pero intenta hacer permutaciones muy pequeñas para no ser tan detectable como humanos y además usa lua además de piton full box es bastante chulo porque combina muchas técnicas diferentes en una librería única y puedes usar todo a través de un único interfaz así que si quieres probar un poco de todo recomiendo full box y finalmente algo de lo que vamos a hablar un poco ahora mismo en poco tiempo es el evolving y el lab que es una librería de engaño y esta librería puede generar imágenes que no que cualquier persona no puede descubrir exactamente qué es la que tiene la imagen pero una red neuronal va a creer que es definitivamente algo específico como lo mejor sabes a través de la investigación que ya he citado mucha de la investigación es sobre ataques maliciosos así que hay poca gente que lo hace de verdad con objetivos benevolentes normalmente el entrenamiento adversarial adversario en el estilo tradicional es especialmente aplicado a filtros de spam y quieren investigar también a lo mejor el ataque de botnet o incluso coches automáticos que se conducen de manera automática así que intentan incluso falsificar por ejemplo señales que estos coches tienen que leer además obviamente para malware lo que algunos investigadores consiguieron enseñar es que simplemente cambiando pocas cosas en el malware consiguieron subir el malware a google mail y en vez de inviárselo a alguien sin que google mail lo detectase y hay un proyecto llamado malgan que usa otro en red neuronal para crear malware indetectable por machine learning así que hay varios ataques especiales en la investigación en entrenamiento adversarial pero lo que yo me pregunto es cómo podemos usarlo de manera buena vamos a ver de volante y esto es un poco subjetivo porque lo que tú creas que es ético no es necesariamente ético para otra gente pero a lo mejor podemos juntarnos en una en un objetivo de privacidad así que he creado unas cuantas ideas y esto es una lista bastante larga que a lo mejor puede llevar una conversación más larga y es que a lo mejor podemos usar este entrenamiento adversarial para engañar por ejemplo para abadir los sistemas de vigilancia para estenografía para por ejemplo puede ser que no estemos realmente muy preocupados porque nos afecte de manera directa pero en varios escuchamos reportes de varios lugares sobre cámaras que detectan rostros por ejemplo también por ejemplo podríamos revisar los mensajes que las personas están enviando entre sí o para engañar a los a los a la publicidad a los anuncios de publicidad que obtenemos en internet cuando visitamos sitios públicos como podemos engañar estos archivos para que no no nos estén atacando de manera de manera directa otra otra pues otra idea sería el envenenar tu propios datos personal o privados por ejemplo para para destruir datos que no quiere que no que no te interesen más y que no puedan ser recuperados más y también para investigar modelos de caja negra que ya estén útil siendo utilizados por otras personas o por otras compañías en este sentido la mejor manera de entender estos sistemas y estar y estar al día es comprender e investigar cómo es que estos otros modelos funcionan y qué limitaciones tienen por último me gustaría mucho saber si ustedes tienen otras ideas me gustaría mucho escuchar qué otras ideas tienen ustedes al respecto entonces decidí a jugar un poco con esto y pensé que quizás podría yo lograr que facebook pensar a que yo soy un gato porque bueno a nadie nos gusta nos gusta facebook bueno sí sí estoy en facebook pero seamos honestos a nadie nos gusta facebook así que creo un modelo de black box e intenté adaptarlo un poco y atacar una y atacar una capa específica y lo que conseguí es no sé mucho sobre visualización pero conseguí crear un modelo bastante poco tiempo y crear un vector de modificación y bueno no conseguí esa y no sé si podía conseguir exactamente hacerle creer que fui soy un gato pero lo mejor el mejor ejemplo conseguir que fue su pos probabilidad de 50 50 así que a lo mejor soy un gato a lo mejor un humano así que las modificaciones iniciales eran un poco pequeñas y un mano no puede no estar una diferencia pero también en el la red neuronal no conseguía descubrir diferencias así que lo tuve que pesar un poco y modificar para para incrementar en los cambios que estoy haciendo introduciendo este ruido y difuminando la imagen fue el facebook fue incapaz de de localizar mi cara y de poner mi nombre en mi rostro desafortunadamente no me identificó como un gato eso ha estado muy bien pero bueno me tomó un día el averiguar cómo y en utilizar estas técnicas de visión de imágenes así que lo que yo me fijé es un modelo estadístico llamado viola jones y lo que intenta hacer es crear estadísticas con probabilidades así que lo que conseguí es crear transferibilidad de esta manera que pudiese modificar mi propia red neuronal para enganear también la foto que después también engañase es la red neuronal de facebook así que lo siguiente que quería mirarme es esta escenografía y leí un paper sorprendió mucho y lo que intentaron hacer es engañar una red neuronal para convencerla de que hay algo que hay de que hay algo ahí que no existe de verdad lo siento si ustedes han visto muchas veces esto bueno lo que tenemos aquí son los números de los dígitos del 0 al 9 y bueno esto parece algo así como arte y se ve muy bonito y de hecho lo estuvieron mostrando en la galería de arte lo que vemos aquí las redes tienen generan una respuesta de más del 99 por ciento de seguridad de que las imágenes son el dígito que vemos en la parte superior por ejemplo una idea es cómo podemos utilizar esto para enviar mensajes a otra persona a mis amigos que nadie más sea capaz de detectar por ejemplo qué pasa si si tengo miedo de ir a casa porque veo que hay una persona que me pudiera atacar qué pasa si yo me siento amenazado veo que quiero enviar un mensaje y sólo quiero que el mensaje llegue de manera íntegra mi amiga y yo necesito que llegue bien y que nadie más tenga acceso a él con una gran probabilidad y con buena seguridad esto por ejemplo sería una aplicación para el entrenamiento adversario para crear un modelo que nos permita hacer esta clase de cosas por último no me deja de impresionar que entre más información tenemos de machine learning de redes profundas entre más nosotros podemos entre más nosotros conozcamos estas técnicas entre más nos informemos y juguemos con estas técnicas mejor nos podremos defender y nos podremos estar preparados para lo que está lo que es para para proteger nuestros propios datos para el si se vive así que si vives en la unión europea probablemente estás protege estás protegido por el GDPR que es un derecho que nos permite defender nuestros datos contra cualquier más colección de datos activa y lo que dice es que el sujeto de los datos tiene el derecho que no ser sujeto de una decisión que puede incluir una modificación o una decisión que puede ser como por ejemplo que puede ser por ejemplo una el no ser aceptado para un crédito o a un puesto de manera electrónica sin intervención humana y no sabemos si esto se aplica exactamente nuestra investigación pero si hay modificaciones a la ley o si probamos usarlo podemos intentar preguntar a las empresas que nos que borren nuestros datos que nos den nuestros datos y que nos informen sobre las decisiones que son tomadas automáticamente basadas en nuestros datos y cuanto más preguntamos y nos informamos sobre este uso de datos más podemos informarnos sobre el funcionamiento de estos sistemas porque estos sistemas son aplicados en todo el mundo y así podemos ayudar a nuestros a los humanos en el resto del mundo a entender cómo estas decisiones son tomadas y a defenderse contra estos sistemas y cómo poder usar esa información para crear entrenamientos adversariales para engañar las redes neuronales involucradas en estas decisiones el público está pidiendo entonces cómo podemos usar también de otras maneras esto para métodos no puedo no puedo hablar más sobre gdpr si nosotros pedimos nuestros datos nosotros obtenemos nuestros datos y estos sistemas no son particulares para para una persona cómo podemos compartir estos datos estos estos son ya bueno estoy tan emocionada acerca de todo este tema que quiero quiero empezar a imaginar más modos de engañar todas estas redes y cómo podemos nosotros empezar a organizarnos para compartir no sólo conocimientos sino también nuestros propios datos como como las imágenes o los píxeles de fotografías mías pueden ser utilizadas para para generar soluciones que tenemos unos problemas en común ahora hay otra serie de problemas más allá de la de la visión por computador pero bueno podemos si queremos por ejemplo engañar a un sistema de reconocimiento del lenguaje tenemos que imaginar nuevas técnicas y bueno quiero quiero finalizar ahora la presentación no quiero finalizar ahora mismo en las charlas me gustaría que continuemos hablando de esto me gustaría que se hable de esto en sus hackerspaces me gustaría que hablen de esto en sus asambleas que hablemos de esto más tarde en el congreso y me gustaría enfatizar que hay que dejar de tratar esta inteligencia artificial hay que quitarle este misticismo hay que dejar de creer que es todo poderosa es efectivamente muy poderosa pero tiene muchos problemas y antes de que me vaya tengo que hacer hablar un poco sobre por qué porque me uní al resiliency track este año en el congreso leí el año pasado sobre resiliency track y y me identifique mucho con él yo quiero saber que yo quiero vivir en un mundo en el que es y en el que si incluso si todo el mundo está quemando alrededor mío aún así pueda ayudar a las personas alrededor mío que están en esas situaciones de las que ellos no se pueden defender y a lo mejor puedo usar lo que yo puedo hacer mis talentos y vuestros talentos vosotros para ayudar a las personas que están en situaciones más difíciles no así que por ejemplo hay un montón de empresas hoy en día que están vendiendo vuestros datos bueno no lo sabemos exactamente pero estamos bastante seguro que eso está pasando y hay un mercado gigante específicamente dedicado a vender vuestros datos un mercado legal y activo dentro de la publicidad determina con quién estás compartiendo tus datos y por qué el gdpr da a nuestros a los europeos muchos más derechos que el resto del mundo vamos a usarlos vamos a elegir empresas más más focusadas en privacidad que otras empresas globales vamos a usar sistemas de código abierto y vamos a mover todos nuestros datos a estos sistemas publico aplauden más aplausos no terminado un segundo antes de las preguntas quiero decir algo así que últimas cosas masín learning masín learning no es muy inteligente yo creo que inteligencia artificial no es el nombre correcto pero eso no significa que la gente vaya a parar de usar de hecho hay mucha gente muy poderosa y rica que está investiendo mucho dinero en masín learning así que no va a desaparecer y va a ser algo que va a ser cada vez más peligroso en el futuro porque cuanto más datos demos a estos sistemas potencialmente puedan controlar más y más de nuestra vida sin embargo podemos usar esas técnicas de entrenamiento adversarial para engañar a esos sistemas de black box sin embargo información es poderosa y cuanto más información tengamos y cuanto más información tengamos mejor podremos a GDPR para ser adversarios más poderosos a estos sistemas finalmente por favor tenemos que permanecer en movimiento tenemos que seguirnos informando de cuáles son las nuevas herramientas que están saliendo tenemos que continuar capacitándonos y tenemos que tener claro que es lo que pedimos de las compañías si les damos los datos si les estamos pagando con dinero si les estamos pagando con confianza que qué es lo como es que nosotros podemos confiar en que una compañía que tiene nuestros datos obtiene o nuestros datos o nuestros dineros y nosotros estamos dispuestos a pagar por un servicio gracias bien ahora pasamos a la sesión de preguntas y respuestas gracias por la charla me quedé con la impresión pareciera que estamos haciendo pruebas para algoritmos o que ya esté en funcionamiento y si serán sólo para probar algoritmos y modelos que van a ser cada vez mejores es una buena pregunta pero aún así necesitamos una manera de saber cómo engañar estos sistemas para aprender los próximos sistemas probablemente cambiarán las redes neuronales en algún momento para evitar ese tipo de ataques los redes neuronales lineares hoy en día son fáciles de engañar así que van a tener que pensar que imaginarse otro sistema para no ser tan fácil de engañar pero así que sí es un poco un juego de rato y ratón pero me sorprendería mucho si de verdad fuese incapazes de crear una red neuronal en non-linear no linear que no seamos capaces de atacar de otra manera así que tenemos que atacarlos de una manera de la que tienen que ser mucho más específicos y intentar más cosas lo que es mucho mejor que simplemente no intentar nada siguiente pregunta me pregunta es qué opinas de trabajar de otra manera en lugar de generar nuevos modelos qué opinas de darles a las compañías datos que que tengan grandes cantidades de datos que sean que estén que sean erróneos o que estén dañados y que ellos generen sus modelos mal si bueno estos son justos ataques de invenenciación de los datos esto pasa también por accidente constantemente pero si podemos hacerlo de manera de manera sistemática así que si tienen un API por ejemplo con el que podemos darle datos entonces sí yo creo que envenenar los datos de entrenamiento es una manera muy buena de hacer esto tenemos una última pregunta de internet a través de internet qué es lo que puedo exactamente hacer qué es lo que puedo hacer para yo proteger a mí modelo propio de modelos adversarios pocas cosas lo que hemos demostrado es que si en venen si entrenas un modelo con tanto datos correctos como datos adversariales existe la red neuronal es un poco más resiliente contra esos ataques pero eso sólo significa que hay que se necesita un poco más de datos y tiempo para envenenar la red otra cosa que se puede hacer es a lo mejor validación de los datos en el momento de introducción y intentar encontrar abnormalidades en la introducción de los datos y a lo mejor evitar envenenar los datos de entrenamiento con ello terminamos las preguntas me gustaría que tuviéramos más tiempo pero bueno no le damos la