 El siguiente ponente que tenemos ahora es Gregorio Robles. Gregorio es profesor en la Universidad de Juan Carlos y aunque él es del campo de las telecomunicaciones, pues dirige un grupo de investigación en el que el grupo de investigación se llama Kingdom Garden and Beyond Life Long Learning, que ya solo el nombre dice mucho de los objetivos del grupo y lo que hacen en este grupo, en el que yo también participo, pues investigan el pensamiento computacional desde diferentes puntos de vista. Por ejemplo, han desarrollado una herramienta para medir cómo se desarrolla el pensamiento computacional, una herramienta que ha mencionado Miles, que se llama Doctor Scratch. Y otra parte importante, las investigaciones que realizan es, bueno, todo el mundo habla de que al aprender a programar se desarrolla en una serie de habilidades, se desarrolla el pensamiento computacional y que esto se puede transferir a otros dominios para mejorar el aprendizaje de otras disciplinas. Bueno, pues, Gregorio, lo que nos va a presentar hoy es precisamente, es esto cierto, hasta qué punto, en qué asignaturas esto ocurre y en cuál es no, a qué edades, depende de la formación del profesorado. Esto nos lo va a contar Gregorio, que es un tema, yo creo, apasionante. Y antes de dejarle hablar, tengo que decir que Gregorio es mi director de tesis y que no podría haber tenido uno mejor. ¿Os dejo con él? Bueno, muchas gracias Jesús. De hecho, Jesús va a acabar la tesis. Espero que de pronto, a pesar del director de tesis, que yo creo, no? Bueno, mi charla va a ser más bien, digamos, desde un punto de vista científico. Y a veces se nos olvida un poco la parte científica y yo creo que incluso como profesores, cuando nos juntamos, no lo hacemos como otras profesiones. O sea, nosotros si enfermamos, vamos a un hospital y nos gusta que nos traten científicos. Y eso qué quiere decir? Eso quiere decir que las personas que nos tratan, las personas que nos tratan, los médicos que nos tratan, que los tratamientos que nos apliquen estén basados en evidencias. Y lo que hacemos los profesores en la universidad, yo creo tanto como en primaria, en secundaria, es que realizamos nuestras acciones en base a nuestra propia experiencia y al intercambio de experiencias con otros profesores. Entonces, parte de nuestro trabajo en la universidad es intentar conseguir esas evidencias para ver qué cosas funcionan y qué cosas no funcionan. Porque las experiencias propias, es algo que a veces llamamos esa evidencia anecdótica y las evidencias anecdóticas tienen un sesgo muy grande. De hecho, por ejemplo, en la universidad todos somos doctores y entonces una amiga me dijo, eres el único doctor que conozco. Me llamó la atención porque dentro de mi ámbito lo normal es el doctor, todos mis compañeros de profesión lo son. Entonces, ese sesgo lo tenemos, es inerentemente humano. Y entonces, el objetivo principal de nuestras investigaciones es evitar tener este sesgo. Bueno, pues voy a comentar un poco qué investigaciones hemos hecho. De hecho, antes de nada, un poco de introducción porque una de las cosas interesantes es ver de dónde venimos y esto. Y curiosamente, aunque estemos hablando nuevas tecnologías, hasta cuando son nuevas, esto es algo relativamente antiguo. Este señor aquí dice Seymour Payport y varios de sus colegas del MIT inventaron logo hace 50 años. O sea que en realidad, tendríamos ya dos generaciones de personas que podrían haber aprendido a programar. De hecho, durante los 70 y los 80 con limitaciones se estudió intensivamente el impacto educativo de niños que programaban. En el media lab del MIT era uno de los estudios principales. De hecho, se demostró que había, sobre todo en matemáticas, todo el logo está muy ligado a las matemáticas, pues que los niños aprendían más. También en otras disciplinas. Y curiosamente, estas investigaciones desaparecieron en los años 90 y de hecho esto se ve muy bien en esta gráfica. Lo que muestra es el número de citas de los artículos seminales sobre efectos cognitivos de la plan de visaje de programación. Entonces vemos que estos artículos, que son de finales de los 70, principios de los 80, se citaron mucho en los 80 y de repente desaparecieron. Hay como ahí, una época negra donde la programación pasó a un segundo paso en el aprendizaje y ahora de repente en 2007, cuando Janette Wing escribió sobre el pensamiento computacional, pues empezó a crecer y de hecho ahora, si se viera cómo ha seguido esta curva, pues volvemos otra vez. No sé si hemos alcanzado los finales de los 80, pero esta es una segunda ola. Mirando un poco las etapas de aprender con ordenadores en general, los años 70 eran los primeros que lo probaron. En los 80 ponemos ahí mainstream, bueno, ya no programar, era un concepto, aunque no al alcanceto del mundo, pero si había revistas especializadas para aprender a programar, pues había en los kioscos. Se volvió más mainstream y sin embargo, en los 90 y en la década de los 2000 programar ya no tenía esa importancia. De hecho empezamos, aquí lo llaman Di-Applications Approach, la perspectiva de las aplicaciones. Lo importante era saber utilizar las aplicaciones de oficina y luego vino el multimedia y luego internet y entonces en vez de enseñar a programar en los cursos de tecnología, enseñábamos que había un menú y que el tercer elemento del menú era el que te permitía ordenar alfabéticamente las palabras que tenías y luego cambiaban el menú y entonces la mitad de los alumnos ya no sabían cómo ordenar alfabéticamente porque se habían apuntado. Menú tal, tercer esto. Pero lo que quiero que entendáis es cómo cambió la manera de enseñar ciertos conceptos. Hablan de computing, cómo cambió, cómo evolucionó, metimos multimedia, internet y de repente como hemos vuelto a los principios. Hemos vuelto a los 70, pero lo importante es que hagan cosas, programen y de hecho una de las cosas que ha cambiado es la tecnología que tenemos al respecto. Ya no tenemos logo de los 70, con la tortuga y el interfaz un poco feo, sino que es verdad tenemos nuevas tecnologías, no Alice Green, Food Code Scratch, que es lo más conocido, son lenguajes de programación visuales orientados a niños, luego también estaba orientado a niños, eso no ha cambiado, pero estos son más amigables. De hecho, como dice ahí, superan las limitaciones que tenía logo, la parte de la sintaxis, la poca variedad de cosas que podías hacer y un poco el aprendizaje en solitario, el logo y eso es otra de las cosas que nosotros no directamente hemos investigado, pero una de las cuestiones que quizás tiene que ver por qué hay más hombres que mujeres en este ámbito es que el programador era un lobo solitario, alguien que se recluía en su casa y en la oscuridad programaba y de hecho hay evidencia científica de que hasta 2005 decían que los mejores programadores eran los que eran personas introvertidas y eso ha cambiado en los últimos años, ahora resulta que empieza a haber investigaciones donde dicen que los mejores programadores es la gente extrovertida y entonces todavía en el cliché social pensamos que son los pero desde hace 10 años para acá resulta que estamos viendo que los extrovertidos programan mejor, probablemente tenga que ver con cuestiones como que en Scratch puedas compartir tu proyecto, puedas comentarlo, puedas coger proyectos de otros y al final la gente que comparte, que pregunta, que muestra interés sabe más, eso lo vemos en otras asignaturas, sin embargo por cómo estaba construido logo, pues no tenías esa posibilidad, luego se quedaba en tu ordenador y ahí entre comillas moría, si el caso si alguien se lo tiene que enseñar le tenías que traer allí, entonces esas cuestiones son las que a nosotros no nos sienten, bueno luego hay un montón de iniciativas, una cosa importante que yo siempre digo a la hora de programar, lo importante es el aprendizaje que queremos conseguir, no la programación, Miles lo ha dicho antes perfectamente, no es el coding sino lo importante es el computational thinking, son las habilidades que queremos adquirir, y a día de hoy la programación es probablemente la mejor manera de adquirir esas habilidades, quizás eso cambia en el futuro, pero la programación tiene una serie de características que hacen que precisamente esas habilidades que queremos desarrollar pues se puede hacer de manera barata, el problema es muy barato o relativamente barato y envía, es ubicuo lo puedes hacer de manera aislada pero lo puedes hacer también en grupo, además en tu ordenador en casa o conectado a internet, se pueden introducir habilidades sociales y de trabajo en grupo en la programación, eso es una de las cosas por ejemplo las universidades lo hacemos muy mal porque cuando trabajan en grupo decimos que copian, entonces me imagino que en los colegios no sé si será igual pero a nosotros todavía eso no lo hacemos muy bien, luego llegan al trabajo y dicen es que lo primero que me han hecho hacer es hablar con los demás y eso nunca lo he hecho en clase, no hemos enseñado las taxis de programación pero no hemos enseñado las habilidades que queríamos y luego una cosa muy importante y eso claro con la tecnología avanzada es la PRO-ER, realimentación rápida, rápidamente sabes si vas por el buen camino por el mal camino, entonces de hecho generalmente instantáneo eso es muy bueno porque tú pruebas, hay un error, sigues probando sigues probando, entonces eso hace que puedas aprender a veces incluso solo estas habilidades, no hay una ciencia científica pero libera endorfinas, solo vemos algunas de los estudiantes cuando de repente se dan cuenta de algo y parece que han marcado un gol en la final de Champions y tal y se abrazan, no es ahí, cuando no hace algo dan a la pantalla y del ordenador, entonces hay una parte ahí que cuando aprendes a programar eso yo creo que los que hemos programado nos pasa a todos, resolves un problema y es como el mundo te parece fantástico, hace que tienes mariposas ahí en el estómago y tal, entonces sabes una parte de la programación que luego se ven en los trabajos cuando hacemos un taller, también lo ves y luego hay herramientas que ayudan el proceso de aprendizaje, yo creo que todavía hay pocas, ahora hablaremos un poco de ello, entonces dentro de todo esto vemos que hay distintos enfoques, de hecho ponemos en graterra y es lo que es como ejemplos de tener un enfoque de una asignatura específica centrada en el desarrollo de habilidades informáticas, es lo que nos acaba de enseñar Miles en la charla anterior, y este al enfoque de los Estonios o los finlandeses donde, y este enfoque también yo creo que lo comparte en la gente del media lab del mighty, de los que han hecho Scratch, donde en realidad ven la programación como un medio para adquirir habilidades que puedes aplicar en muchas otras materias, aquí lo importante es la parte de expresiva, lo haces programando, pero lo importante no es la programación en sí, sino lo importante es lo que quieres comunicar, lo que quieres decir, por eso Scratch tiene ese diseño, ese es el objetivo, entonces, visto esto vemos hay muchas iniciativas, hay muchas tecnologías, está Scratch, está Python, entonces cada país está haciendo, está labrando su camino, en realidad cada asociación, cada grupo de profesores, todavía no tenemos experiencia, no hay estándares, no sabemos lo que funciona y lo que no, entonces, bueno, ahí está el, digamos, la oportunidad de investigación que hemos estado nosotros, porque hay pocas investigaciones desarrolladas en el siglo XXI y de hecho hay pocas evaluaciones, y de hecho de manera sistemática muy pocas, creo que es muy difícil convencer a alguien de que algo es bueno si no lo hemos evaluado, no es que este es mejor porque yo creo que es así, bueno, imaginaos que un médico no le podemos pedir eso, volviendo a parte de las evidencias, un médico le pedimos que no, evidencias y pueden probar, evidentemente hay cosas donde hay investigación en medicina, y evidentemente ahí prueban, pero quieren saber más al final de probar, y esa es la parte que nosotros, bueno, pues, estamos trabajando, y básicamente presentar tres, tres, tres estudios, que van a responder a las preguntas de que en qué asignaturas, no, pues se producen la mayor aceleración por la introducción de la programación, vale, esa es la primera pregunta, la segunda es si en función de la edad podemos ver diferencias en el aprendizaje, vale, tenemos que introducir programación en primaria, lo hacemos en secundaria, ¿cuándo lo hacemos?, no lo sabemos, vamos a probar, vamos a investigar y vamos a ver qué hacemos, y luego una tercera, que está siempre, también Máez lo ha comentado, es muy importante formar a los profesores, vamos a ver cuánto influye el que el profesor esté formado, ¿no? Entonces, veréis que son tres investigaciones muy pequeñas, pues esto es un campo incipiente, como diría al final, pero van en la dirección de las cosas que queremos conseguir, ¿no? Entonces, por contar un poco cómo, en esto todo es parecido a lo que Máez ha contado antes de los CodeClaps, nosotros, bueno, aquí en este caso, en donde miramos la transferencia en relación a la asignatura en la que se imparte, vimos cuatro semanas un curso a docentes de Scratch, ¿vale?, y luego cada docentes, el mismo docentes, ¿no?, Daniel, hay dos grupos de estudiantes, uno es el de control, donde seguían las actividades tradicionales de clase, y otro el experimental, donde trabajaban la materia programando, ¿vale? Al grupo de control, al grupo experimental, al principio, se les hace una prueba inicial para ver dónde están, ¿vale?, que es lo que utilizamos para comparar lo que han aprendido, y al final les hacemos una prueba final, ¿vale?, y ahí es donde comparamos. Bueno, y luego una cosa que hacemos es que en el grupo experimental, como nos han hecho proyectos en Scratch, y ahora aquí abre un pequeño paréntesis, pues lo analizamos con una herramienta que se llama Dr. Scratch, entonces el paréntesis es una herramienta que está en Dr. Scratch.rg, y ahí que permite subir el proyecto de Scratch, o bueno, poner la url y te analiza el proyecto de esta manera si visual, coge y te analiza los elementos del proyecto y te da una puntuación, ¿vale?, entonces esto sirve un poco de realimentación o un poco para la evaluación, ¿no?, entonces esto a nosotros nos permitía tener una visión adicional, ¿no?, porque veíamos el producto final. Volviendo a la investigación, esto lo hicimos con dos grupos, uno quedaba matemáticas y otro quedaba ciencias sociales. Los de matemáticas estudiaban los ángulos y los de ciencias sociales, pues un tema relacionado con la Unión Europea, ¿vale?, y aquí se ve un ejemplo de un programa de Scratch, de alguien que ha trabajado el tema de la Unión Europea, se ven ahí los bloques, el mapita y tal, un ejemplo de ellos, de hecho está disponible online, luego subiremos las transparencias, me imagino. Entonces aquí se ve los resultados, entonces el grupo de control es el azul y el grupo experimental, el verde, o sea, el grupo que no ha programado es el azul, el grupo que ha programado es el verde. En los dos han aprendido más programando, pero curiosamente se ve que en ciencias sociales han aprendido mucho más que en matemáticas. Esto es una cosa llamativa, porque el primer sitio donde aplicaríamos programación dice siempre hay matemáticas, de hecho casi los que no sé, bueno, yo cuando fue el colegio que me enseñaba a programar era el profesor de matemáticas, y sin embargo aquí lo que hemos podido ver es que el que se ha beneficiado más de poder programar ha sido el grupo de ciencias sociales. Una cosa curiosa, como tenemos los proyectos, pues los hemos analizado y hemos visto que los de matemáticas cognitivamente son más difíciles, entonces eso hace que en el de ciencias sociales donde los proyectos en sí no eran tan difíciles en cuanto a la programación, pero permitían a los alumnos desarrollar mucho más la parte de ciencias sociales, y entonces, pues bueno, pues ahí se veía que uno de los factores porque aprendían más era eso. El otro factor es que, esto lo explico mejor con el mito de platón, entonces el trabajo tradicional es hacer un trabajo y entonces que hacen, cogen el texto de la wikipedia y el trabajo en realidad consiste en que eso se parezca poco al texto de la wikipedia, eso son las capacidades que quieren los alumnos, mientras que si les pedimos que hagan un programita sobre lo mismo, seguro que tendremos un programita diferente por alumnos, quizás se copien y se vean unos a otros, pero cada uno querrá tener su propio programa, entonces no resulta muy llamativo, decidas Lancar, es que aprenderán más los segundos, por lo menos de la parte de filosofía, pues yo creo que por ahí va, digamos, esto es la hipótesis, aquí en este caso se ha podido demostrar, entonces este es un ejemplo. El siguiente ejemplo tiene que ver, entonces el primer ejemplo tiene que ver con materias, el siguiente ejemplo tiene que ver con las edades, entonces básicamente hemos realizado la misma intervención, el mismo experimento, pero antes estamos hablando de alumnos de sexto, tienen 11 años, si no recuerdo mal, 11-12 años y pues vamos a hacer lo mismo para la asignatura de lengua en segundo, de primaria, vale, que ahí tienen 8, 7-8-9-7-8, entonces es una unidad sobre estructura narrativa, entonces aquí, si vemos aquí el grupo de control y el grupo experimental, en realidad salen igual, o sea, cuando decimos eso es que no estadísticamente no es significativo, quiere decir que bueno, pues hay unas diferencias, pero no son aleatorias, son parte de que, pues, somos diferentes y entonces, bueno, pues no todo el mundo, aunque tiene que salir el mismo resultado para decir que, bueno, pues la intervención ha sido exitosa. Entonces, aquí en este caso, aplicar programación no ha sido provechoso, vale, entonces no aceleró la curva de aprendizaje. Si lo dicen sexto, pero vemos que en segundo no lo hace. Hay que quizás tomar un poco esto uno con un granito de sal, esto porque es verdad, tampoco lo ha decelerado y de hecho, han aprendido el temario que tenían que aprender y a programar unos y los otros el temario que tenían que aprender, vale, entonces ahí, quiere decir que, sí, en términos de la asignatura han aprendido lo mismo, pero yo, si tuviera que elegir, preferiría haber ido al grupo experimental porque, aparte de aprender, me llevaba lo otro, pero en realidad eso no era lo que queríamos medir, pero la pica es algo que quería añadir, y de hecho lo que hemos visto aquí es que transferir conocimientos de programación a otra materia, pues eso con 10, 11, 12 años se puede hacer, pero quizás con 8 o 9 no. Esto es muy importante para saber cuándo y cómo introducir la programación en el aula y qué cosas podemos hacer. Entonces no podemos pedir a los niños de 8 años que ya, es que estos conceptos utilizamos aquí, pero todavía no los han desarrollado esa edad, o por lo menos esto es el principio de evidencia que empezamos a tener, porque ya es que esto es un estudio y habrá que replicarlo y no es la parte científica, pero ya lo que quiere decir es que vamos avanzando esa pizca y vamos viendo, vamos midiendo cómo va, cómo va afectando, pues el cambiar los factores. Y la tercera tiene que ver con la formación de docentes, entonces aquí es una investigación similar, esto es en clase de inglés, con grupos de cuarto y quinto de primaria, y aquí hicimos uno un profesor que sabía programar, ya conocía los conceptos de programación y otro profesor que le dimos una pincelada mínima de conocimientos de programación, que a veces creo que luego cuando enseñan los resultados dirán, evidente, sí, pero si miráis el mundo real, a veces es lo que hacemos, vamos a enseñar a programar, bueno, los profesor les damos una pinceladita y ya es suficiente, y de hecho lo que podemos ver aquí, entre el con experiencia y sin experiencia, es que con el que tenía experiencia, aprendieron muchos más los del grupo experimental, los que estaban programando, mientras que el que no tenía experiencia, aprendieron más con el método tradicional. Entonces esto no es una de las cuestiones que a veces cuando no, la consejería viene y dice un curso rápido, en tres semanas, si sois unos expertos, pues quizás no es lo mejor, quizás hay que mirarlo a medio, largo plazo, pero a corto plazo ese curso no es lo mejor, como digo, aquí comentamos un poco más, esto es un experimento, habría que mirar más, habría que ver qué factores son los que más influyen y ver cómo mejorar eso, incluso, porque lo suyo sería, lo mejor sería poder ver que en un curso rápido los profesores alcanzaran el alterno, al otro, al que tiene conocimiento, eso sería lo mejor evidentemente, pero si es posible, tendríamos que ver qué factores, son los que intervienen en eso. Entonces bueno, de todas formas estos resultados son bastante consistentes con otros estudios, la parte esencial de tener docentes bien formados y yo creo que Miles ha sido una de las cosas que hacen hincapié y es la parte en realidad donde está muy bien juntarse profesores en asociaciones, programamos, es un ejemplo, computing at school, es un primer paso, aquí cuando hablo de la parte de la bienciencia científica es el siguiente paso y probablemente tenga que ser en ese orden, entonces está bien pero la parte de la formación es esencial, aquí queremos dar un pasito más. Un poco, no tengo así grandes conclusiones, porque en realidad, como he dicho, hemos empezado a volver a investigar la programación en la educación hace cinco años, entonces esto es un campo que es muy nuevo y de hecho todos los estudios aquí yo creo que estamos hablando de pocos alumnos, clases de 30 alumnos, hay algún estudio donde hemos visto de evaluación donde contamos con mil alumnos, pero eso es poco, necesitamos mucho más evidencia, esto es un campo donde todavía necesitamos investigar mucho más y necesitamos mirar muchos más experiencias, muchos más años, esto suelen ser investigaciones de corta duración, unas semanas, un mes, seis semanas, dos meses y en realidad estamos, digamos, estamos labrando el suelo para años, para una vida entera, entonces medirlo a seis semanas tampoco tiene sentido. Yo lo que quería enfatizar es que hemos visto aquí varios ejemplos de varios factores, asignaturas, edades, profesores y hay muchos más, de hecho uno que no he comentado que es muy comentado, es el género. En la siguiente chala dije, bueno, de esto no hablo, pero también hay evidencia científica, decir, bueno, es que reaccionan diferente, incluso ante la forma, incluso como planteas los problemas, los chicos y las chicas. ¿Cómo introducir la ludificación? Porque está en los campeonatos, hay veces que es positivo, pero si te pasas es negativo, el aprendizaje social, porque queremos salir de ese un poco mito donde esto es una cosa aislada y en realidad tenemos las herramientas y la posibilidad de aprender en grupo, que es cómo van a trabajar luego en el mundo real, bueno, no es como van a vivir luego, van a ver una sociedad y además todas las partes que son sociales suelen llegar mejor, es lo que se ve en la evidencia científica, porque ellos, nuestros alumnos, todos los de secundaria están muy habituados a socializar y eso es lo que les gusta. Entonces esa parte está en, digamos, en su terreno, es donde aprende más, les gusta más. Entonces, como discusión es comentar esta parte, animaros también a ver un poco la parte científica con otros ojos, a ver qué es lo que investigamos. Yo creo que también hay una parte ahí, si hacéis el máster de formación profesorado, a intentar en el proyecto fin de máster que se introduzcan estas cuestiones al final, no solo proponer algo, sino intentar evaluarlo, aunque sea de una manera pequeña para intentar coger el ritmo de, bueno, queremos, por eso, conocimiento basado en evidencias, ¿vale? Y bueno, ahí agradeciendo a Jesús, ¿no? Porque no es, ha hecho, o está haciendo la investigación, o sea, a ver si se acaba en marzo ya. Y bueno, luego, muchas de las ideas que hay aquí son de Marcos Roman, que es un psicóperagogo de la UNED, que está especializado en evaluación, y bueno, pues, luego hay varias, varias instituciones aquí que, ¿no? Que nos ayudan a llevar esto, esto a cabo. Y bueno, y con esto termino la parte de, digamos, que iba sobre evidencia científica. No sé si tenemos tiempo para, ¿sí? Tenemos tiempo para, ¿no? Vale, muchas gracias. Y si hay preguntas, yo... Tenemos tiempo para un par de preguntas, porque los porcentes están clavando el tiempo. Sí, pero aquí tenemos algunas, esperamos a que venga el micrófono, por favor. Tenemos un montón de gente siguiendonos por streaming, y de hecho, hemos visto en Twitter que somos trending topic, es la primera vez que soy trending topic. Sí, sí, sí, muy bien. Sí, ahora, quería hacer un par de preguntas sobre los detalles del estudio. En una de las transparencias que has mostrado al final la penúltima donde tenías los gráficos ésta. Entonces, simplemente, lo que tenemos en la barra del 0 a 4, eso son las notas de la prueba final, o el resultado, está midiendo el éxito de la prueba. Entonces, una de las cosas que me da la atención es la diferencia entre los dos gráficos. Sí, o sea, normalmente, se intenta que el grupo de control, el grupo de experimental, sean lo más similares posibles, y esto, por ejemplo, aquí, en este caso, no se cumplen. Eso es uno de los problemas que tenemos. En este gráfico, lo que viene es la diferencia entre la prueba inicial y la final. Porque hicimos la misma prueba, el caso es que la prueba, de todas formas, el grupo azul es el grupo de control y el grupo verde es el grupo experimental, con dos profesores distintos. Entonces, las pruebas eran diferentes. Cada profesor hizo unas pruebas. La misma prueba, el grupo de control y el grupo experimental, pero cada uno las suyas en su clase. Y es por eso que las diferencias son distintas. ¿Tiene otra explicación? Es que un grupo es de cuarto y el otro es de quinto. Claro, es que no son estudios aleatorios. A ver, no teníais muchos alumnos también. O sea, es muy difícil hacer un estudio. Es por quitar variables ocultas que pueda ver en esos gráficos, que alguna parece que hay, porque es la diferencia que entre los gráficos es tremenda. Estoy de acuerdo. Es uno de los problemas que tenemos y por eso hay que replicar los estudios y tal. Es que el experimento puro es muy difícil de conseguir. Sí, es muy complicado. Entonces, ¿cómo se considera esto? Bueno, pues haciendo el experimento en EBCs, en en entornos diferentes. Y de hecho, probablemente el experimento en sí sea diferente dependiendo de otras cuestiones, como geografía, estatus socioeconómico. Muchas de estas cuestiones, lo que vemos, es la experiencia previo en programación. Entonces, todas estas cuestiones son lo que a nosotros llamamos threads to validity. Limitaciones al estudio y todos nuestros estudios hay una sección ahí discutiendo eso. Y eso es gran parte del problema. Digamos que una parte de la ciencia es que va también construyéndose poco a poco con lo que hay. Y por ahí lo que hay son los miembros que tenemos. Tenemos, los científicos tenemos que hacer nosotros, lo que tenemos que hacer mejor. Entonces, estoy de acuerdo en eso. No, y si no vos tan mal de acuerdo con vosotros de que hay que tener evidencia y de que ahora, bueno, ahora que estáis en el ministerio, pues dentro de los organismos públicos, tienen que dar los medios para que se puedan llevar a cabo estudios antes de implantar algo completamente de acuerdo con todo lo que dices. De hecho, esto es, cuando, aunque haya evidencia científica, siempre se puede contrarrestar con un nuevo estudio. De hecho, es una de las cosas por las que vosotros, en realidad, esto es un campo muy nuevo, y pues yo creo que esto no es así. Y alguna vez, algunos de nuestros experimentos es porque alguien ha venido así y vos proba una cosa nueva y resulta que ese era el factor determinante. Entonces, todavía estamos en la búsqueda de los factores determinantes. Totalmente de acuerdo. Pero lo que quería decir es que, realmente aquí, siendo la audiencia mayoritariamente profesores, no, en el punto donde estamos, con todas sus limitaciones es donde estamos y tenemos que crecer en eso para tomar, decir, como decía Chema antes, el ayuda a empresas a tomar decisiones basados en información, en conocimiento. Nosotros estamos haciendo lo mismo. Queremos tomar decisiones basados en conocimiento, no decir, es que a mí me ha funcionado. Ese es el resumen, palabras de Barre Barre. Completamente de acuerdo contigo. Muy bien, gracias. Tenemos tiempo para una pregunta más. Sí, cogiendo otra vez lo de Chema y la decisión, bastada en datos, y tal, y igual hay dos datos que se nos han quedado fuera. Se aprende más rápido así o se invierte más tiempo a la hora de enseñar de esta forma. Ese es un aspecto que podríamos medir. Y otra es, el aprendizaje es más perdurable en el tiempo. Totalmente de acuerdo. Son factores que todavía no tenemos en cuenta. De hecho, el factor, yo creo que principal que hace que muchas veces tengamos esgo, es el de motivación. Cuando pruebas algo nuevo, es algo nuevo, y de hecho, en el mundo de la publicidad, te anuncian las cosas como nuevas y llevan ahí toda la vida. Pero resulta que al poner nuevo, y creo que hay incluso regulación de cuando puedes decir que es nuevo, ¿no? Porque lo nuevo motiva más. Entonces, resulta que parte de, no, lo sabemos, nosotros mismos tenemos que hacer cosas nuevas para tener nosotros nuevos retos, pues es lo mismo. Entonces, ese es uno de los esgos que hay, y luego tenemos que buscar todos los demás factores. Entonces, lo ideal, si nos comparamos con los estudios de fumadores que siguen los fumadores durante 20 años, pues lo ideal sería seguir a los alumnos durante 20 años y ver cómo evolucionan. Y es cuando, a partir de, claro, tardaron muchos años en saber si fumar era perjudicial o no para la salud. Pues aquí, si lo quieres hacer bien, pues en realidad estamos hablando de ese escenario. Entonces, dentro de esos escenarios, pues las investigaciones que veréis, estas que presenta, de otras que hay, pues por ahora son en pequeños grupos, van aumentando, pues por ejemplo, porque en Miles empiezan a tener miles de estudiantes y entonces tienen mucha información socioeconómica, de sísanal y entonces intentan sacar las variades. Ahí estamos, entonces yo, vamos, si os gusta el capo, espero que desde el INTEF también hagan un poco de difusión de estas evidencias, porque bueno, pues yo creo que con el tiempo le hemos conseguido más. Muy bien, pues muchísimas gracias Gregorio. Muchas gracias.