 a todos. Muchas gracias por venir. Yo soy Gregorio Robles, soy profesor aquí de la Casa de la Universidad de Rey Juan Carlos. Hoy acogemos una nueva edición del Seminario de Madrid, que es una red de investigación sobre e-learning en general, con varias universidades de la Comunidad de Madrid, lo podéis ver ahí, está la Carlos III, que es la Universidad Coordinadora, está la Autónoma de Madrid, la Complutense, la UNED, la Politécnica y nosotros, la Universidad Rey Juan Carlos. Hoy el tema del Seminario es sobre pensamiento computacional, que es un tema de gran actualidad, porque si veis los periódicos, hay muchas iniciativas, entre ellas las del gobierno regional aquí de la Comunidad de Madrid, para enseñar a programar en los colegios, a menores. Veremos hoy que tenemos tres charlas, la primera charla es de Marcos Roman, que es estudiante doctorado de la UNED, entonces él nos va a hablar de lo que se especialita de él, que es en los test de pensamiento computacional. Muy bien, muchas gracias Marcos. Gracias por haberme invitado al Seminario a Madrid, soy profesor ayudante de la Facultad de Educación de la UNED, ahí actualmente acabando metidito doctoral sobre código alfabetización y desarrollo del pensamiento computacional en educación secundaria. Hoy agradezco esta invitación especialmente porque me ha servido para dar un empujón a mis análisis de tesis, que siempre se pueden quedar un poco enganchaos, y bueno, aquí ya traigo algún análisis preliminar de nuestro test de pensamiento computacional, cómo se diseñado su proceso de validación y algunos análisis psicométricos preliminares. Bueno, voy la charla, tendrá tres partes, primero una introducción, que intentaré que sea ligera, parte de cómo el método del diseño y de variación del test y algunos resultados. Bien, vivimos inmersos, es algo evidente, en un ecosistema digital lleno de objetos programables controlados por software. En palabras de Lev Manovich, que es un teórico de medios, el software ha tomado el mando software takes command, su tesis viene a decir que si el ordenador o el smartphone también es un metamedio, es decir, un medio a través del cual se están expresando y vehiculando los medios tradicionales, como la prensa, la televisión, la radio, por analogía el software en general se convierte en metalenguaje o lenguaje a través del cual se vehiculan el resto de lenguajes textuales visuales auditivos. Entonces, en este contexto de mundo digital, el ser capaz de manejar el lenguaje de las computadoras, está emergiendo como una nueva habilidad indispensable, un nuevo alfabetismo que nos permite a todos participar de manera plena y efectiva en una realidad 100% digital. Se trataría en palabras, por ejemplo, del también de otro filósofo sociólogo norteamericano Douglas Ruskov, de programar o al menos conocer las bases de la programación o correr el riesgo de ser programado. También en palabras de Garner, por ejemplo, ser capazitado frente a ser ap dependiente. Por tanto, en este contexto está surgiendo un movimiento, también un nuevo término que se llama SCODE Literacy, que nosotros hemos traducido como código alfabetización, que en general se refiere a los procesos de enseñanza, aprendizaje, de lecto escritura con los lenguajes informáticos de programación. Es un movimiento que está entrando de manera viral, diría yo, en los colegios, los sistemas educativos de todo el mundo. No sé si habéis oído hablar del evento global Laura del Código, que lleva ya un par de años, se celebra en diciembre y que ha hecho, por ejemplo, que más de 100 millones de estudiantes de primaria, segunda área de todo el mundo, hayan hecho al menos una hora de introducción a la programación en sus clases y, digamos, que se va desmitificando progresivamente la dificultad de aprender a programar y elevando, digamos, un cariz de una habilidad fundamental para poder participar plenamente en la realidad digital. Aquí traigo algunos de los lemas, eslóganes, que se están haciendo virales, que vienen un poco a ilustrar que dice, pues, I code the way I am, pienso luego que existo, pues, programo luego existo, como que la programación es el nuevo lenguaje que te permite ser plenamente. Incluso Obama, al frente de esa campaña, don't just play your phone program it. No solo juegues con tu smartphone, también programalo. All Unities Code, ven iniciativas parecidas en la Unión Europea, ¿no? Digamos que en todo este movimiento hay dos tipos de razones, esto ya es una perspectiva un poco más crítica. Hay una perspectiva puramente económica y laboral, por ejemplo, en Estados Unidos hay prospecciones de que en 2020 va a haber 1.4 millones de puestos de trabajo en tareas relacionadas con la programación, pero la prospección de licenciados en computer science está solo en unos 400.000. Por lo tanto, hay un gap, una brecha de un millón de puestos de trabajo que no se podrían cubrir y tendrían, digamos, que importar programadores de fuera. Esta preocupación de que en los futuros desarrolladores de software no sean plenamente norteamericanos, les está llevando a moverse a todos los países en general para introducirlo en las escuelas de, para que de aquí a 5, 10, 15 años, tener fuerza de trabajo en los sectores de la programación. Hay voces críticas que también dicen que es una apuesta de las grandes multinacionales para aumentar la base de programadores y así bajar su nivel de sueldo, por ejemplo. Es la parte económica, pero luego hay una parte también social o sociocultural que ya expresaba, por ejemplo, Maclujan, que es un teórico de medios ya a clases de los años 60, 70, dice nosotros damos forma a nuestras herramientas, a nuestras tecnologías y luego las tecnologías nos dan forma a nosotros. Entonces, ahora en un mundo que estamos inmersos, llenos de lo digital, si solo consumimos tecnología, somos conformados por ellas y se rompe, digamos, este equilibrio y para restablecerlo todos nos tenemos que convertir, digamos, no todos, no todos a nivel profesional, pero todos a nivel de alfabetización básica en conocedores de los lenguajes de programación, por lo menos de las bases conceptuales que lleva detrás y aquí está el movimiento maker o hacker. Bien, haciendo una analogía, igual que cuando empezó la globalización en un mundo globalizado hemos pasado de aprender inglés como si fuera una asignatura aparte, un contenido aparte a utilizar el inglés para aprender, es decir, inglés como lengua vehicular para aprender cualquier contenido en el bilingüismo, en un mundo digitalizado estamos pasando de un paradigma de learn to code, es decir, que la programación era una asignatura concreta para, además, una serie de estudiantes con ciertas capacidades lógico-matemáticas avanzadas, etc, etc, a un paradigma del code to learn, es decir, la programación sería una herramienta de pensamiento que se puede utilizar para aprender cualquier tipo de área curricular transferible a muchas áreas y que se puede desarrollar desde edades muy tempranas y este paso ha sido posible porque han empezado a proliferar plataformas, herramientas que han facilitado el acceso a, digamos, la programación, la pseudo programación o la preprogramación, no, pues Scratch, Scratch Junior, Codable, Hobscotch, tantísimas otras que hay que han bajado las barreras de entrada para empezar a utilizar la programación y el pensamiento computacional como una herramienta para aprender. Bueno, avanzando en la definición, diremos que se considera que una persona está codigual enfabetizada cuando es capaz de leer y escribir en el lenguaje de los ordenadores y otras máquinas y de pensar computacionalmente. Si codigo alfabetización es más un término sociocomunicativo de una nueva lectorescritura con lenguajes de programación, en lo que nos vamos a centrar es en el pensamiento computacional que sería el proceso cognitivo subyacente de resolución de problemas que nos permite luego en un estado avanzado programar. Entonces, el pensamiento computacional es un concepto cognitivo de resolución de problemas. Bueno, nuestra investigación tiene dos partes. Nos hemos preguntado si es posible deseable incorporar la codigual alfabetización en el sistema educativo, especialmente en educación secundaria, y estamos haciendo dos cosas. Por un lado, evaluar la eficacia de un curso, que es el caucho dentro de tu computer science, de Code.org, que no sé si lo conocéis, es un curso para primero, segundo de la ESO de 20 sesiones de una hora, o sea, durante dos meses y medio, tres semanas, donde ellos introducen a la programación y, en paralelo, diseñar y evaluar un instrumento que mira el pensamiento computacional. Como veremos, si queremos introducir cualquier nuevo concepto en el currículum, cualquier área es indispensable tener área, o sea, tener instrumentos que puedan evaluar eso que nosotros vamos a introducir en el currículum, porque entonces no podemos decir si los alumnos han aprendido, se han mejorado, si el curso de introducción a la programación que hemos implantado ha tenido efectos o no ha tenido efectos, ¿vale? Entonces, yo creo, para que os hagáis una idea, este es el curso que estamos evaluando, son 20 etapas, hay una parte que son, digamos, pantallas de este tipo, donde el alumno tiene que llevar, son laberintos puzzles que tiene que resolver mediante bloques de código, ¿vale? Entonces, van introduciendo en conceptos computacionales por esa vía y, en paralelo, hemos desarrollado este instrumento que es el test de pensamiento computacional, ¿vale? Que ahora iremos hablando más en concreto, lo dejo ya que he abierto, que son también items bastante parecidos. Bueno, entonces, nos vamos a centrar en pensamiento computacional. Entonces, no es sorprendente en esta realidad digital que muchos países están introduciendo el pensamiento computacional como un concepto clave o como una nueva habilidad de solución de problemas que debería ser adquirido por la nueva generación de estudiantes. Por ejemplo, Bulgaria, Chipre, Dinamarca, Estonia, Grecia, Irlanda, Polonia, Portugal, Reino Unido, hasta nueve países, ahora mismo en la Unión Europea que lo están introduciendo en sus currículos, Reino Unido, por ejemplo, entre los seis y los dieciséis años, es decir, en toda la etapa obligatoria. Y como hay lo de brecha digital de segunda generación, porque antes hablaba la brecha digital de primera generación era la de acceso a internet. Esa se da por superada en los países, digamos, desarrollados y se habla de esa brecha digital de segunda generación entre los países donde sus habitantes saben crear tecnología y los países donde los sus habitantes solo consumen tecnología. Entonces, puede abrirse una nueva brecha entre aquellos países que introduzcan en sus currículos la programación del pensamiento computacional, también otras derivaciones, como la robótica, la impresión 3D, TCTC, comparado con los países donde el enfoque de la informática siga siendo de consumo, por ejemplo, de manejo deofimática, TCTC. Y en muchos países están introduciendo el pensamiento computacional como el centro de todas las disciplinas STEM, no, STEM Science, Technology, Engineering, Mathematics, están empezando, por ejemplo, con Scratch a introducir en el currículum de matemáticas o de ciencias. Bueno, ahora, problemas. Hay poco consenso en una definición de pensamiento computacional todavía. La definición, digamos, que se considera originales de 2006, que es de Janet Wing, y dice, el pensamiento computacional implica la resolución de problemas, el diseño del sistema y la comprensión de la conducta humana haciendo uso de los conceptos fundamentales de la informática. Bueno, esta es la definición de arranque, es una definición, digamos, muy genérica. Un avance, por ejemplo, es esta de Ajo en 2012, el pensamiento computacional es el proceso de pensamiento involucrado en la formulación de problemas, de tal manera que sus soluciones puedan ser representadas como pasos computacionales discretos y algoritmos, ¿vale? Bueno, no sé si aclaro algo. En realidad, esa solución de problemas, formular y abordar problemas de manera que esos que puedan ser procesados o abordados por un agente de procesamiento de información, también es toda forma de definirlo, pero son muy genéricas. Se ha ido avanzando y esta es la definición operacional de la Computer Science Teachers Association de Estados Unidos para K-12. Es, digamos, la definición operacional que manejan todos los profesores de Computer Science en Estados Unidos, en educación media y secundaria, donde ya detallan un poco más que sería pensamiento computacional. Entonces, formular problemas de manera que sea posible que un ordenador y otras herramientas puedan resolverlo, analizar datos y organizarlos lógicamente, representar datos a través de astracciones como modelos y simulaciones, automatizar soluciones a través de pensamiento algoritmico, TCTC, una parte importante generalizar y transferir este proceso de solución de problemas a una amplia variedad de problemas. Una de las cuestiones fundamentales del pensamiento computacional es que es una forma de pensar, de abordar problemas de manera que puedan ser luego solucionados por ordenadores, que se puede transferir a matemáticas, música, artes prácticamente, en la medida en que todo es digital, todo está digitalizado o vinculado a través de software pues a cualquier área realmente. Y además lo asocia con algunas actitudes y disposiciones motivacionales, no es solo solución de problemas sino también confianza para manejar la complejidad, persistencia, tolerancia, la enviobuda, TCTC. Y ya con esto acabamos, digamos, la parte teórica, incluso Google tiene una definición, tiene un apartado sobre pensamiento computacional y tiene ahí programas para desarrollarlo, que es un proceso de solución de problemas con cuatro partes. Descomponer un problema, reconocer patrones, regularidades, luego generalizar dichos patrones y abstractión, es decir, descubrir la ley subyacente y diseño algorítmico, es decir, desarrollar unas instrucciones precisas para resolver ese problema y sus análogos. Bueno, entonces si hay todavía falta de consenso en el tema de la definición, vamos a decir que es un proceso, tiene que ver con solución de problemas, lo que, donde hay un vacío tremendo es en la evaluación, vale, entonces lo único que si ponéis, vamos yo, hasta hace unas semanas si ponéis Computational Thinking Test, como búsqueda exacta en Google Scholar, encuentras siete resultados, lo cual a mí cuando lo vi dije, me llama mucho la atención. Sí que hay concursos certámenes internacionales que van cogiendo peso como bebras, que tiene su origen en Lituania, para mí mismo es un consorcio de países europeos donde gente de todos los países se junta para discutir, que es el pensamiento computacional y diseñar problemas, tareas, ítems que luego una vez al año llevan algunos colegios y hacen una especie de olimpiada, una especie de olimpiada concurso para promocionarlo, pero no llega a ser un instrumento que esté validado psicométricamente. Bueno, aquí tenéis las páginas, ahora veremos algún ítem, digamos, grupos de especialistas europeos que se juntan a discutir qué es pensamiento computacional y qué no es pensamiento computacional, que hay mucha discusión y a diseñar tareas problemas para hacer concursos en los colegios. Total, conclusión, si no hay atención suficiente sobre cómo medir y evaluar el pensamiento computacional, será muy difícil que se introduzca en los currículums para poder juzgar la efectividad de cualquier currículum que incorpore pensamiento computacional es necesario validar previamente instrumentos de medida para determinar si un estudiante ha aprendido o no. Entonces, en esto estamos, ¿vale? Bueno, entonces, no sé cuánto llevo, ahora pasemos a la segunda parte, se lleva 15-20 minutos, ¿vale? Y entonces nos metemos todo ufanos a intentar desarrollar un test de pensamiento computacional, ¿vale? Y lo hacemos bajo estos principios. El objeto es medir el nivel de desarrollo de pensamiento computacional en alumnos, en principio, básicamente, de primero y segundo de la ESO, 12 y 13 años. Nos plantamos hacer una prueba más o menos clásica, una prueba objetiva de elección múltiple, con cuatro opciones de respuesta, porque lo que queremos es hallar su validez, su fiabilidad, construir baremos, que sea una prueba psicométrica potente, y en principio la diseñamos con 40 ítems y con 45 minutos, ¿vale? Y partimos de la definición de que el pensamiento computacional es la capacidad de formular y solucionar problemas apoyándose en los conceptos fundamentales de la computación y usando la lógica sintaxis de los lenguajes informáticos de programación, secuencias, bucles, iteraciones, condicionales, funciones y variables, ¿vale? Bueno, y esto no creo que lo leáis, pero esto sería la tabla completa de especificaciones de los ítems, es simplemente tengáis una idea de cómo se ha construido. Son 40 ítems, entonces en cada ítem puede tener dos tipos de interfaz, una que son como laberintos y otro que son como lienzos donde hay diseños geométricos computacionales. Luego, el estilo de las alternativas de respuesta pueden ser flechas, ¿vale?, como un scratch junior o codable, pueden ser bloques, como un scratch o como en Blockly o como en Hobscotch, o textual, o si fuera una especie de pseudo código. Luego, progresivamente los ítems van intentando medir, digamos, esos conceptos computacionales en orden, direcciones básicas, el bucle repetir veces, el bucle repetir hasta, condicional simple, condicional compuesto, mientras que funciones simples, funciones parámetros. En algunos hay anidamiento, quiere decir, dos conceptos computacionales, uno envivido en otro, anidado en otro, de jerarquía superior, y luego en algunos ítems, aunque son todos de elección múltiple, en algunos el alumno debe secuenciar el algoritmo correcto, en otros se les da un algoritmo incompleto y el alumno debe completarlo, y en otros se les da un algoritmo que tiene algún error y el alumno tiene que detectar el depurarlo, ¿vale?, encontrar el paso, bueno, esto es un poco locura, esperamos. Ejemplos, esto es un ítem. La interfaz, en este caso es un laberinto, las alternativas de respuesta son visual por bloques, el concepto fundamental es el bucle repetir veces, hay anidamiento y es secuenciación. Aquí la interfaz es del lienzo, las alternativas de respuesta son textuales, forma de pseudo código, el concepto es repetir veces, aquí no hay anidamiento, es un bucle simple y en este caso se pide, se dice que hay un error en el código y decir dónde está el error, es depuración, ¿vale? El laberinto visual por flechas, aquí hay repetir hasta y un condicional simple, hay anidamiento de instrucciones y en este caso falta una parte del algoritmo y se pide que se complete, ¿vale?, son este tipo de ítem los que han resuelto los alumnos. Y este otro, el último ejemplo, el lienzo visual por bloques, hay que repetir veces y hay una hay función, hay una función simple, hay anidamiento y en este caso también se pide secuenciar. Bueno, entonces diseñamos estos 40 ítems y lo pasamos a un proceso de validación de expertos, de validación de contenido por juicio de expertos. Se invitó a 39, aceptaron 20, profesores de informática de secundaria, bachillerato de formación profesional, universidad, también gente joven ganadores de la primera edición de Premiosabs de Fundación Telefónica, miembros del colectivo programamos.es, alguna cosa que presente, miembros de la asociación de profesores de informática a la comunidad valenciana, bueno. Y les pedimos varias cosas, por ejemplo, la dificultad percibida de cada ítem. Entonces, del 1 al 40 percibieron dificultad creciente, lo cual iba, va bien porque se diseñó así para que tuviera dificultad creciente. Y dijeron que era muy larga, básicamente. 40 ítems era una burrada, al final como síntesis se apostó por una longitud entre 28 y 30 ítems para hacer en 45 minutos, es decir, un ítem por cada minuto y medio, que es una sesión de clase. Entonces, eliminaron los cinco últimos, que son los de ahí, que son los de funciones con parámetros, por considerarse excesivamente difíciles para 1º y 2º de la ESO. Aunque, arriba que vemos, pertinencia percibida por ítem, todos se consideraron pertinentes, esos de funciones con parámetros se han guardado para una versión del test para tercero y cuarto de la ESO, para dades superiores. Y luego lo que se hizo finalmente, para dejarlo en 28, que es la versión del final que estamos aplicando, 28 ítems, se eliminó el ítem con menor tasa de aceptación por cada experto de cada bloque. ¿Vale? Eran bloques de cinco, por cada concepto computacional, pues se fue eliminando uno de cada bloque. Y de los ítems que se quedaron, se reformularon algunos con sugerencias que nos dieron los expertos. Por ejemplo, se quitó el estilo de respuesta textual, sólo se dejó visual por flechas o el visual por bloques. Entonces, el ítem de arriba a la izquierda se transformó en el que estaba bajo a la derecha. Y en vez de, por ejemplo, es un ítem de depuración. En vez de poner cuatro veces repetidas el código erróneo marcando en cuatro veces el paso equivocado, pues se hace sólo una vez el algoritmo y se ponen flechitas para que digan en qué paso está el error. ¿Vale? Se fueron reformulando los ítems para... A ver, esto está aquí. Y esto es lo que se ha virtualizado, ¿vale? En realidad, es un formulario de WellDrive con datos personales. Vamos, para simplemente navegarlo un poco. La muestra principal es primero y segundo de la ESO, aunque también se está pasando finales de primaria y tercero y cuarto de la ESO. Entonces, también se incluieron algunos ejemplos que no estaban a sugerencia de los expertos. Entonces, se leen estos ejemplos para que se acostumbren. Son medidas de validez aparente para que se acostumbre en la navegabilidad y el entorno de trabajo y luego ya empieza el test. Y entonces son siete páginas, cuatro ítems en cada página que tratan un determinado concepto computacional, ¿vale? Pues nada, son primero direcciones básicas, tampoco lo vamos a mostrar todo. Luego ya vienen los bucles. Etc, etc, ¿vale? Exactamente, ocho ítems. Ya resultados. Esa es, digamos, la parte final. A ver, le hemos pasado a mucha gente. Aquí he traído un primer análisis preliminar del núcleo central de la muestra, ¿vale? Que es una muestra de 400 chicos y chicas de primero y segundo de la ESO. Entonces, el grueso de la muestra son institutos de castellón. Valencia de delicante. Es un muestreo intencional, no probabilístico. Quería decir que los centros eligen a propósito por una razón. La razón es que esos centros son los que luego han hecho el curso este de tres meses de introducción a la programación. Entonces, al pasarles nuestro test en el pretest, hemos construido estos análisis y luego también se hizo un post-test para ver los efectos del curso. Y luego se da la circunstancia de que en Valencia tienen, en primero y segundo de la ESO, una asignatura optativa de informática y tienen profesores de informática en sus institutos, ¿vale? Entonces, esto se pasó en las obras de informática, sus fijáis, ya en la distribución, por género de la muestra, hay un tercio de chicas y dos tercios de chicos que tiene que ver con que como esto es en esa clase optativa de informática, si habiendo una lección diferente entre chicos y chicas de esa optativa, en proporción de un tercio de chicas y dos tercios de chicos, ¿vale? Si lo hubiéramos hecho en la clase general, estaría balanceado 50 a 50. Entonces, esa diferencia es porque la optativa de informática la siguen eligiendo en proporción de dos tercios a un tercio de los chicos más que las chicas, ¿vale? Bueno, entonces, la tasa de acierto promedio a lo largo de los 28 itens es de 0 a 59. Primera cosa positiva, ¿vale? quiere decir que el test está ajustado en dificultad. La mayoría de los itens los aciertan entre un 40 y un 60% de los alumnos. Quiere decir que no nos hemos pasado ni de fácil, ni de difícil, ¿vale? La tasa de acierto promedio es 0 a 59. Se recomienda este entre 0, 40 y 0, 60. La puntuación total, que es el número de aciertos totales que podría ir de 0 a 28, que es el total de itens, veis la distribución. Es una distribución normal, simétrica, lo cual es como tiene que ser porque si estamos midiendo aptitud, siempre que mides aptitud te debes una distribución que se aproxima la campana de agua, es decir, la mayoría de los chavales puntuaron al alrededor de la media, que son 16,5 aciertos y hay chavales con aptitud alta, pero menos y con aptitud baja, pero menos. Una distribución normal, lo cual también ahí respiramos, voy a decir que el test está funcionando. Y luego, aquí simplemente es muy simétrica la distribución la media. En primero o segundo de la ESO es 16 aciertos y el rango va entre 6 y 27, lo cual está bien porque no llega a tocar los extremos y está muy centrado y ahí los percentiles vemos que se puede construir un baremo que es muy claro. 11 aciertos sería un percentil 10, 13 aciertos un percentil 20, 14 aciertos un percentil 10, es un baremo muy limpio, muy limpio porque hay una distribución normal muy clara. Si hubiéramos hecho un test muy fácil o muy difícil, hubiéramos encontrado una distribución simétrica positiva contrao techo o suelo al instrumento en este caso, está bien centrado y dificultad. Tiene una fiabilidad como consistencia interna de 0,74 son claros un poco de psicometria, es un poquito justo, pero en las muestras que lo hicieron con tableta, curiosamente, la fiabilidad sube bastante hasta 0,85 ¿vale? Nuestra hipótesis que está todavía por demostrar es que hay muchos ítems, veis que hay muchos giros, pero este factor espacial puede estar un poco distorsionando la medición y, de hecho, cuando ves a los chavales haciendo el test, cuando lo hacen en PC hay muchos que empiezan a girar la cabeza hacia un lado, hacia otro, que no pueden girar el PC. Sin embargo, los chavales que lo hacen en tableta tienen el apoyo kinestésico de que pueden girar la tableta ¿vale? Hay un factor espacial que posiblemente está distorsionando un poco la consistencia del test que se elimina en la tableta y que lo hace más fiable en tableta. Nuestra hipótesis especialmente fiable cuando se haga en tableta que ya es una fiabilidad 0,84 que es muy alta. Encontramos diferencias significativas entre primero y segundo de la ESO bien, porque si es una aptitud de resolución de problemas es de esperar que haya una progresión evolutiva, madurativa, una diferencia significativa, entonces habrá que acervaremos diferenciados para cada edad. Importante, no hay diferencias en el rendimiento en el test, no hay diferencias entre chicos y chicas, no las hay, pero no sé si voy muy rápido, prácticamente la media dice es con 57 chicos y dice es con 27 chicas, pero no es significativo, ¿vale? Donde si hay una diferencia en la parte de abajo es hay dos preguntas al final del test que son de autoeficacia hay una que es de 0 a 10 ¿Cómo consideras que te ha salido el test? y otra de 0 a 10 ¿Cómo consideras que si te dan los ordenadores en la informática? Bueno, en la pregunta ¿Cómo consideras que te ha salido el test? Es decir, que aunque el rendimiento objetivo en el test es igual los chicos tienen más confianza en cómo les ha salido nuestra hipótesis es que esa diferencia de confianza en su propia capacidad en esas tareas computacionales es posible que cuando ahora estamos pasando los post test los chicos sí que tengan ese mayor rendimiento y que haya estado provocado en parte por esa distinta confianza entre chicos y chicas una conclusión de interpretación posible que sigue siendo muy necesario y bueno, pongo ahí mucho material en temas de género en este asunto lanzar mensajes positivos y modelos positivos para las chicas que quieran estudiar programación porque cuando hacemos las mediciones primeras no encontramos diferencia en aptitud pero sí hay diferencias en confianza en autoconfianza y luego en la parte de arriba ya volvemos a la muestra total de 400 hay una correlación entre el número de aciertos y la pregunta cómo te ha salido el test lo cual está bien si los chavales hubieran tenido la sensación de que contestaban a boleo pues hubiera habido correlación nula o negativa si los chavales hubieran tenido la sensación de que me han dado la respuesta si me la sé pues hubiera sido más alta está bien centrado y sin embargo es una correlación mucho más pequeña 0,12 con respecto a la pregunta lo que hace la interpretación es que cuando nos preguntan cómo se te dan los ordenadores de la informática seguimos pensandolo en términos de uso de uso de consumo de la tecnología y no tanto de pensamiento computacional que sería la otra pregunta no hay por ejemplo no encontramos correlación para acabar son cosas un poco más psicométicas pero que nos dan una idea de las relaciones del pensamiento computacional con otras actitudes si el pensamiento computacional la hipótesis es que tiene que ver con el razonamiento lógico resolución de problemas o aptitudes perceptivo-atencionales debe correlacionar con test que ya estén validados que midan esas cosas algunas partes de la muestra, parte de nuestro test les pasamos otros test que ya están en el mercado que ya están estandarizados y validados encontramos una correlación entre nuestro test de pensamiento computacional y el PMAR que es un test de aptitudes de razonamiento lógico que tiene 80 años que es un test super sólido los ítems son series lógicas como las de abajo a la izquierda que hay que descomponer el problema buscar el patrón y abstrar la regla encontramos una correlación un indicador de validez concurrente de nuestro test correlaciona con test ya validados de pensamiento de razonamiento lógico aún más con test de resolución de problemas la rp30 que los ítems son como el de abajo a la izquierda entonces en ese test en la rp30 tienes que marcar o cual es de esas configuraciones abcdoe cumplen las condiciones de arriba que es que hay el número de círculos es mayor igual que el de cuadrados blancos y que el número de cuadrados negros es distinto hay una parte perceptiva hay lógica condicional porque eso es el número de círculos que nos han aplicados a esos estímulos con ese test que es un test bastante exigente y nuestro tpmc hay una correlación de 067 que es bastante alta es otra fuente de validez concurrente y otra es vamos a coger de esos concursos que hemos visto internacionales como bebidas de pensamiento computacional no hemos encontrado otros test si estas tareas que en estos concursos internacionales como vebras están poniendo. Vamos a seleccionar tres, los vamos a poner al final del test y vamos a ver si correlaciona. También encontramos correlación, pusimos a unos 28 ítems, pues tres problemas de estos de vebras. Entonces veis que en el eje horizontal es la puntuación del TPC, en el vertical en la puntuación de los tres ítems en vebras depende si hubieron tres a ciertos, dos, uno, cero. Encontramos también correlación, aunque es un poco baja, entonces cuando vamos ya un poquito más al detalle, mirad, esto es uno de los ítems que utilizamos. Entonces, este es un problema de vebras de estos que se utilizan en estas olimpiadas como a nivel europeo y este que tiene que ver con lógica condicional y estructuras discretas, estructuras discretas, tuvo correlación de cero o cinco, vale, bien, con nuestro TES, con la puntuación total de nuestro TES, entonces este problema que tenemos que ver con paralelización y control de fujo, sin embargo no tuvo correlación y este ítem que tiene que ver con descomposición, abstracción, algoritmos vuelve a tener una correlación bastante alta. Bueno, por resumir, nuestro TES no mediría todo el pensamiento computacional y cosas del pensamiento computacional que puede dejar fuera y está muy centrado en la parte que es lógica condicional y diseño algorítmico, pensamiento algorítmico. De hecho, algún experto ya nos decía que más que TES de pensamiento computacional lo deberíamos haber nombrado como TES de pensamiento algorítmico, pues está muy centrado en esa parte, vale. Entonces, eso es interesante, coger algunos, porque todos estos problemas del vebras contest, vebras es castor en lituano, lituano, puede ser beber, ¿no? Y entonces hay muy distintos, entonces es interesante ver que según qué problema, qué correlación estuvo con el conjunto de nuestro TES para ver realmente en qué satura nuestro TES, ¿no? Pues lógica condicional, en paralización control de flujo no, en descomposición, abstracción, algoritmos, sí. Vale, y ya para acabar, también algún índice de validez predictiva de nuestro TES y es que nuestro TES se aplicó la medida de causa en diciembre y luego hicieron este curso de code.org de tres meses, entonces es un curso que los alumnos lo van haciendo y, como es una plataforma, permite el tracking, el seguimiento por parte del profesor de cuántos niveles en ese curso han avanzado, entonces hay algunos que avanzan más que otros. Y hubo, hay correlación, hay correlación positiva, moderada, validez predictiva entre cuál fue la puntuación en nuestro TES y al final cuál fue su rendimiento medido como niveles en ese curso, vale. O sea, que nuestro TES es capaz de predecir moderadamente luego como van a rendir en ese curso. Y encontramos una diferencia muy significativa, porque hay clases donde los alumnos se les permitió avanzar por ese curso, cada uno a su aire, incluso en su casa, ¿vale? Que es el caso de la izquierda, entonces en ese caso la correlación sube, es decir, el que tenía más aptitud en nuestro TES fue el que más avanzó. De hecho, se ventiló el curso que era de tres meses, se lo ventiló en dos semanas y son esos chavales que marco ahí al final, que se lo ventilaron dos semanas y entonces se les pasó a un curso de Khan Academy que era de nivel superior, ¿vale? Entonces, cuando se aplica esa metodología de decir, oye, tú avanza por aquí, por el curso a tu ritmo y incluso en tu casa, nuestro TES de actitud predice muy bien ese rendimiento y aparte detectas a los chavales con más talento computacional, les puedes dar recursos de mayor nivel y a la derecha es la metodología B, que fueron profesores que iban marcando el ritmo de avance en su clase, entonces ahí, claro, la correlación baja, porque la metodología del profesor fuerza que al final todos avancen los mismos niveles en el curso, por lo tanto nuestro TES de actitudes puede predecirlo menos porque al final hay un techo o un ritmo de avance que marca el profesor a la vez, bueno, y esto está todavía más preliminar pero también el TES, nuestro TES es sensible entre un pretés y un postés con un grupo que ha seguido el curso luego de esta introducción a la programación durante tres meses y uno que no, ¿vale? Entonces, todavía son datos muy preliminares. Bueno, pues ya esto, conclusión, puntos fuertes, estamos intentando construir un TES clásico de actitud, porque creemos que no hay, que digamos hay ese vacío, tiene dificultad apropiada para la población de objetivo, primero y segundo de la ESO, tiene una buena circometría, es decir, tiene dificultad creciente en sus ítens, la distribución normal y simétrica, buena variabilidad que permite construir varemos, como hemos visto que están bien, progresión evolutiva, es decir, según tienen más años los sujetos renden mejor y ausencia de sesgo por género, fiabilidad adecuada especialmente en tabletas y buena validez concurrente y predictiva, se puede aplicar de manera colectiva y online, es decir, que puede hacer aplicaciones masivas, entonces para qué puede servir, sí que es para hacer una detección masiva, un cribado de talento computacional, diagnóstico, orientación académica y profesional hacia carreras de programación y evaluar también cursos y currículos de pensamiento computacional y limitaciones, pues que es un TES de aptitudes muy central en conceptos, en pensamiento algorítmico y no tanto en problemas más complejos, que es un poco, yo creo, el enfoque de Dr. Scratch, que será la siguiente parte, pues creemos que hay confluencia, entrediamos nuestro TPC a la izquierda, que es una evaluación más aptitudinal, diagnóstica, con otras herramientas como Dr. Scratch, que es una evaluación más formativa de proyectos más complejos. Y ya está, joder, 154, tenemos tiempo para... Uff, no se me cargalo. Tenemos tiempo para algunas preguntas, voy a pedir a Marcos que la repita para que salga en la grabación, vale, esto de salga en la grabación, bueno, de hecho está por streaming también. Que repita las preguntas. Repita las preguntas. No la charla, ¿no? Y luego las preguntas y luego la contestación, que descontentan, bueno, no sé si hay alguna pregunta. Sí, ahora, si preguntan, si las preguntas son fijas, es decir, si hay solo una versión del test, ¿no? Si en este momento hay solo una versión del test, es decir, incluso cuando se ha aplicado pre-test, post-test, se ha aplicado la misma versión, pero efectivamente, para ir progresando en el asunto habría que hacer lo que sea una versión, es paralelas, por ejemplo, para hacer un pre-test post-test donde haya, es decir, que sean ítems, eso, paralelos, o sea, que miden lo mismo, pero esa con formulaciones distintas. Entonces, efectivamente, ahora mismo son fijos y habría que ir generando formas paralelas del test. Sí. Y preguntan si habría que hacer el todo el proceso de evaluación en las formas paralelas. Y el, sí, no es todo el proceso, pero el igual, realmente habría que hacer la versión de expertos y luego en las formas paralelas, y todas formas, lo que pasa en esto, pues algún compañero me decía, no te metas a diseñar un test, que estás loco, tiene una parte buena que es que cuando tú te metes en el diseño de evaluación de un test, si la cosa va bien, puedes hacer una línea de investigación de 20-30 años. Pero el proceso de evaluación de un test es inacabado por definición, es decir, la fiabilidad que yo he traído, que es medida por el alfa de Krombergs, depende de las muestras de donde has aplicado. Dentro de 5 años, igual los Varemos, tienes que ir haciendo replicaciones sucesivas o aplicaciones sucesivas para actualizar los Varemos y actualizar los índices de validez y fiabilidad, igual con las formas paralelas. Entonces, yo creo que es una primera aproximación. Sí, ahora, digamos, pregunta el compañero, que es la cuestión de que eso se copie, y entonces ya empieza a circular y se pueda saber, el alumno puede ver con una atelación la respuesta, entonces ya pierda la validez de la aplicación. Sí, o sea, de momento lo estamos utilizando en centros muy acotados y luego, si esta primera versión tiene propiedades psicometricas adecuadas, habrá que generar formas paralelas en un proyecto más amplio, tendrá que tener más financiación, para hacerlo ya una herramienta, digamos, comercial, pero es una primera aproximación. Sí, preguntan sobre, es decir, cuando hemos hablado de validez predictiva del test, la capacidad del test para predecir luego el rendimiento del alumno en un programa de un curso de aprendizaje como el de Code.org o el de Khan Academy, si se puede combinar con otros instrumentos para mejorar la predicción. Sí, es decir, la validez predictiva de una variable sobre otra, será la que seas, si la combinas con otras, puede ir mejorando el poder de predicción. Claro, luego lo podrías mejorar muchísimo, pero igual necesitarías tantas medidas iniciales que sería poco viable. En cualquier caso, lo que vemos es que el test sí que detecta muy bien esos chavales con una aptitud de base, digamos, de pensamiento computacional fuerte y esos chavales rinden realmente mucho mejor y mucho más rápido en el curso, pero la variable, digamos, intermedia que tiene mucho peso es la metodología que sigue el profesor. Era la diapositiva esa que enseñábamos, todavía son estudios preliminares, pero hay en las clases donde el profesor dejó que los alumnos avanzaran a su ritmo e incluso en casa, los chavales que tuvieron los tres, cuatro que mejor rindieron en nuestro test al principio, pues rindieron, o sea, avanzaron muy rápido en el curso y realmente fueron a cursos superiores. En metodología donde el profesor es el que marque el ritmo, pues, claro, no previces nada porque no dejas que ese talento aflore. O sea, esto realmente es una cuestión de pedagogía diferencial que se llama fundamental, porque algunos dirán ya, pero también en la segunda metodología igual, el talento computacional no ha florado, pero has conseguido que también los que tenían menos los ha llevado hasta el final del curso y en la otra es salvaje, cada uno con su capacidad computacional que avance lo que pueda. Entonces yo creo que es un equilibrio, aunque realmente en algo como la computación detectar los talentos y que puedan avanzar más rápido me parece bastante relevante y bastante importante para su motivación también. Y eso lo hemos detectado, o sea, ha habido chavales de primer o segundo de la ESO que se han mentido a un curso de tres meses en diez días y de ahí han pasado acá en Academy y han hecho un intro a Javascript, un Javascript avanzado y es decir, que el recorrido que tienen los chavales con aptitud elevada es muy grande, están muy lejos de su techo. ¿Hay una pregunta más a quien la suena fila? Pues el test está disponible, de hecho le estamos aplicando en varios estudios diferentes, entonces está en distintas URL, si lo queréis utilizar pues simplemente hableis conmigo que es el que lo estoy aplicando, el que tengo acceso a luego a las bases de datos y se puede utilizar en quinto y sexto. O sea, se puede utilizar desde quinto de primaria hasta cuarto de la ESO se puede utilizar. La muestra fundamental es primero y segundo, pero en quinto y sexto también se puede aplicar y también lo vea, estamos todavía en proceso, estamos en proceso de acumular muestra como para para dar datos de psicometría, o sea que luego si estás interesado pues nada, luego lo vemos. Muy bien, muchas gracias otra vez.