 Hola, soy Tracy Togama Espinosa y es un placer para mi compartir un modelo sobre selección de indicadores para terminar la calidad de educación superior. Eso se ha pasado en un artículo que publiqué en mayo de 2015, ojalá que tenga la oportunidad de leerlo. Hoy día, ¿qué es lo que queremos hacer? Primero, revisar una pequeña historia sobre educación y acreditación y realmente el problema que existe en la selección de los indicadores de calidad y después compartir un poco sobre los sistemas de acreditación que existe alrededor del mundo en este momento, el número de indicadores que existen y las categorías de los indicadores y cómo se puede utilizar esto para organizar la reflexión sobre la selección y finalmente un nuevo modelo de cómo seleccionar los indicadores más apropiados por cada institución. Primero problema, existe más de 200 indicadores posibles que ha sido utilizado en los últimos 30 años para medir calidad educativa. Entonces, el problema existe en los procesos que utilizamos para seleccionar que indicadores son realmente más importante para cada institución. Pasado en este problema, revisamos qué realmente existe para acreditar instituciones educativas alrededor del mundo. Históricamente sabemos cuando decidimos ofrecer educación como un bien público, como algo que todos deben tener acceso, entonces empezamos a regular estas cosas y existe ciertos standards, pero antiguamente esos eran netamente por a nivel de seguridad, si realmente las instituciones tenían baños o estaban con una estructura bien básica o un docente mínimamente calificado. Después se van llegando a un nivel más y más sofisticado cuando lleguen a niveles de educación superior, por ejemplo, en los Estados Unidos en 1899, algunas instituciones educativas decidieron unificar sus esfuerzos y llegar a tener standards mínimos por ingreso de los estudiantes a sus instituciones. Entonces empieza a organizarse, pero dependiendo de la historia de cada institución y cuáles son las expectativas tienen distintos reglamentos que se organizan en los sistemas de acreditación. Los distintos estructuras de acreditación en general dividen en dos categorías, unos que están manejados netamente por el gobierno, el segundo que son instituciones que autoorganizan para autoregularse. También existen distintas estructuras que son basadas, por ejemplo, en países en España, Nueva Zelanda, Hong Kong, tienen distintas organizaciones de programas de acreditación para la educación superior. Por el caso, por ejemplo, de los Estados Unidos existe un cuerpo que regula las entes de acreditación regionales en distintos partes de país. También existen otros tipos de instituciones o acreditaciones regionales, por ejemplo, de Europa, de Encuar, o existe ahorita también una que está intentando hacer internacionalmente un sistema de acreditación, están tratando de ver si existe puntos en común, los pisos mínimos que todos están aceptando, que se puede utilizar como acreditación internacional. Independientes si esos están manejados por gobiernos o por las mismas instituciones, la mayoría de esos entes de acreditación buscan los pisos, los mínimos de requerimientos necesarios para poder decir que ese indicador ha sido cumplido. Casi nadie te dicta lo que son los techos, o sea, y hasta qué punto debes apuntar, porque en general los techos son lo que es la visión de cada institución. En general, la calificación en una acreditación te da uno de tres notas, o sea, estás aprobada como institución o estás desaprobada, o en algunos casos existe un estatus de esta acreditación condicional o parcialmente acreditado. En bien, bien pocos instancias se pone como un ranking, o eso es la mejor la categoría ABCD, en bien pocos instancias existe ese tipo de uso de acreditación, y donde sí existe en la mayoría de los lados es por acuerdo de las instituciones que están participando. Por ejemplo, para llegar a tener el estatus de la mejor universidad privada, pequeña de artes liberales en California, todo las universidades pequeñas, privadas de artes liberales en California están de acuerdo en un criterio que utilizan y seleccionan los indicadores juntos para poder determinar quién y cómo uno es mejor que otro. En revisar las categorías de indicadores posibles al ver la literatura encontramos varios indicadores y absolutamente todos pueden caber dentro de 11 distintos categorías. Hay la categoría de cobertura, de igualdad y equidad, de retención, de estándares, de logros académicos, de la docencia e enseñanza, de evaluación, de finanzas, de gobernanza, de la familia y comunidad y del contexto. Todos están utilizados para ayudarnos a dividir los 217 indicadores que hemos encontrado en la literatura en los últimos 30 años de medición o acreditación al nivel institucional para la calidad educativa. Entonces utilizamos las 11 categorías para separar los indicadores identificados en la literatura. Por ejemplo, en cobertura hay muchos de acceso y acceso de distintos niveles de educación en la categoría de igualdad y equidad encontramos que información al fondo del estudiante, por ejemplo, de la región donde vive, puede influir en sus logros académicos. En termos de retención, buscamos a distintos niveles o programas, por ejemplo en una universidad se puede ver si hay más de sesión de un programa que en otro programa. También hay una categoría de estándares y eso puede ser dividido por distintos grupos o personajes o niveles. Hay logros académicos que están divididos básicamente en lo que es enseñanza y investigación. Y la categoría más grande es la docencia y enseñanza porque se sabe que el factor más importante en la calidad educativa es la calidad de los entes. No existe un sistema de educación de alta calidad que no tiene un cuerpo docente de alta calidad. Pues por eso están tan desclosados los indicadores en esta categoría. También hay la categoría de evaluación y evaluación está basado en distintos unidades de análisis. Se puede ver todo el sistema educativo o se puede ver al nivel de la institución o de departamentos, pero también se puede dividir por individuos como del docente versus estudiante y al nivel internacional versus nacional versus regional o solo intrainstitucional. Existe la categoría de finanzas, por ejemplo, el porcentaje de presupuesto dedicado a distintos programas en la educación y gobernanza, cómo está manejado los fondos, cómo está manejado la contratación de docentes. Y los últimos dos categorías, familia y comunidad hacia la influencia de la familia en el rendimiento escolar y el contexto, cómo es que la cultura, las limitaciones legales, la demografía cambia en el rendimiento escolar de un estudiante. Entonces tomando todo ese encuentro, los 217 indicadores, para poder organizar esto, proponemos un nuevo sistema y eso está basado en un proceso de reflexión. Para guiar esta reflexión sobre la selección entre los 217 indicadores, cómo empezamos a decir cuál es mejor, planteamos ocho preguntas y la idea es comparar cada una de esas preguntas con los indicadores. Primero, ¿es el indicador un producto, un proceso o un progreso? Por ejemplo, se puede utilizar los exámenes PISA o examen de ingreso universitario y se puede utilizar esto como un producto, simplemente la nota en sí. O se puede revisar el proceso, cómo es que los que tenían éxito tenían un diferente proceso que los que tenían más bajo rendimiento. O podemos ver el progreso, por ejemplo, en términos otra vez de PISA como en caso de Chile, compararon sus notas anteriores con los más recién notas y entonces mostraron un progreso en su calidad académico basado en esas notas. Segundo, hay que decidir y reconocer la unidad de análisis. Si estamos tratando de revisar todo el sistema educativo o solo equis institución o solo equis departamento o solo el cuerpo docente o el individuo como estudiante, o sea, tenemos que decidir qué unidad de análisis está seleccionado. Tercero, tenemos que reconocer si el indicador seleccionado es algo básico, profecientes, sofisticado o avanzado. Por ejemplo, en el caso de Turquía, está tratando de medir el porcentaje de estudiantes al nivel universitario, pero no tiene buen datos de los estudiantes graduando del bachillerato. Entonces, no se puede hacer algo avanzado si no has hecho algo sofisticado y tampoco, o sea, está hecho en un nivel muy constructivista. Entonces hay que seleccionar los indicadores basado en datos ya recordados en los niveles anteriores. Cuarto, hay que considerar el nivel de fidelidad de los datos. Por ejemplo, si yo quiero saber cómo influye la lectura en la casa en el rendimiento escolar de los estudiantes, si yo pregunto a los papis, por favor, reportenme cuántos minutos leen a sus chicos en la casa y los papis mandan los minutos a las escuelas, a las escuelas me mandan a mí, realmente es un muy bajo nivel de fidelidad de datos, porque no hay cómo confirmar esto en ningún otro momento. Entonces, más subjetivo el dato, menos fidelidad tiene. Quinto, tenemos que ver el costo del indicador tener esto en mente. Sexto y séptimo, tenemos que ver la complejidad en recolectar el dato y también la complejidad de analizar los datos. Por ejemplo, y hay datos que son fáciles a recolectar y difíciles de analizar y viceversa. Por ejemplo, es muy complicado saber cuántos de nuestros estudiantes en nuestra institución tienen computadores en la casa. Es muy complicado tener ese dato. Pero una vez que recolectado el dato es muy fácil analizarlo. Entonces hay que decidir y reconocer, no solo en el análisis, pero también en recolectar los datos en qué nivel de complejidad tenemos. Y octavo, finalmente tenemos que revisar con qué frecuencia vamos a tener acceso a nuevos datos para hacer nuestros análisis. Entonces hay algunos exámenes, como mencionamos, pisas cada tres años, pero hay exámenes al final de la carrera universitaria que puede pasar cada año, o cuántos estudiantes pasaron todas las clases de primer semestre de primer año de universidad. Todos esos podemos tener con más frecuencia. Entonces hay indicadores que se pueden medir con baja frecuencia o con alta frecuencia. ¿Cuál es la idea? Con esas ocho preguntas, entonces hay que reflexionar, es un punto de reflexión. Entonces es de ver cada uno de esos preguntas de reflexión con cada uno de los indicadores. Cuando tienes esto, entonces puedes llegar a tener visualmente lo que es importante por cada país o institución. Por ejemplo, los indicadores que puede existir, a veces hay algunos, como hay de 217 y ninguna institución va a medir más que uno o dos docenas de indicadores porque por los costos y simplemente no tienen gente que pueden hacer tanta evaluación todo el tiempo. Entonces hay indicadores, la gran mayoría va a ser no evaluados, ¿cierto? Después hay los que son indicadores de evaluación, pero ya están cumplidos. Ya vemos, por ejemplo, que hay más mujeres estudiando en todos los niveles de educación, en todos los países del mundo, incluyendo en Ecuador, menos al nivel doctorado. Pero si sabemos esto, entonces realmente es un indicador ya medido y ya cumplido. Cuando vemos el gris oscuro, vamos a poder ver lo que es importante por el país en este momento. Es evaluado y no cumplido, es algo que hemos identificado que son datos importantes para nosotros como institución, pero están marcha la revisión. Por ejemplo, en el caso de Ecuador, podemos ver que no estamos evaluando nada de educación vocacional o tecnologías o educación multilingua o bilingüe en este momento y ya está cumplido una revisión de lo que es educación especial y lo que sí seguimos mediendo son educación primaria hasta lo que es universitario. Y tenemos que revisar esto y preguntarnos, ¿esos cómo queremos ser de país? Eso sí es lo más importante dado las prioridades de país, entonces, basado en los colores, puede dar una indicación de qué es prioridad y lo que es cumplimiento con ciertos logros o promesas de la política de cada país o cada institución. En el caso de Finlandia es algo distinto, ellos no están midiendo cosas de nivel universitario ni de tecnología de educación bilingüe, pero sí y ya está cumplido lo que es educación preescolar hasta el bachillerato, pero sí están invertiendo muchos de sus recursos en ver educación vocacional y lo que es el complemento con educación especial o lo que son las necesidades y diferenciación, entonces se puede ver a la primera vista dónde están las prioridades de cada país, ¿cuáles son algunas de las recomendaciones que se puede hacer después de revisar tantos distintos países y sus procesos de acreditación? El primero es que no se deben elegir indicadores simplemente porque hicieron el año pasado, o sea, de tradición no es un buen razonamiento de seleccionar indicadores, entonces hay que modificar los indicadores dado las nuevas prioridades que tenemos cada año. Segundo, hay que aceptar las limitaciones de cada indicador. Un indicador por ejemplo de acceso simplemente es eso, es acceso, no está hablando de calidad de decencia ni cantidades de aprendizaje, cantidad de instrucción, simplemente es acceso a la educación, entonces no podemos expandir el uso de un indicador más allá de sus limitaciones de los datos recolectados. Y tercero, existe la tentación de medir las cosas donde sabemos que sí estamos bien porque queremos que todo mundo ven como cumplimos con algo. Eso es interesante y puede ser que ayuda en marketing, pero no ayuda en mejoramiento de la institución, entonces hay que tener coraje de seleccionar indicadores donde sabemos que no estamos bien para poder ver cómo mejorar y tomar decisiones fuertes sobre el mejoramiento de la institución, basado en los datos recolectados y los indicadores cumplidos. El modelo es completo pero no está sin sus críticos. Toma tiempo de cumplir, sí, yo estimo que es más o menos una semana que va a demorar en hacer esto de revisar todas las otras preguntas con todos los indicadores, pero sí es un proceso consensuado, asegura que los indicadores seleccionados realmente es una buena reflexión de dónde está la institución y sus prioridades. El cuarto punto es algo importante reconocer, mientras la herramienta te indica cuáles son los indicadores de mejor uso para ti, no te da la plata para poder hacerlo, entonces puede ser que estás eligiendo lo que sería la mejor indicador, pero no existe los recursos para poder hacerlo, no existe la agenda, no existe el dinero para hacerlo, entonces ahí hay limitaciones de cada institución que también tiene que estar tomado en consideración. ¿Cuáles son los tres puntos de más importancia de esa investigación? Yo diría que primero que nada hay que aceptar que no existe una lista perfecta de indicadores, eso va a ser distinto por cada individuo, eso es igual que decir cuál es la mejor fruta en el mundo, entonces tú tienes distintos criterios que yo, entonces yo voy a pedir una fruta que dura mucho tiempo y no cuesta mucho y tú vas a buscar la fruta que es más linda en el color y más con más nutrientes o que tiene mejor sabor, entonces basado en nuestras prioridades vamos a seleccionar distintos indicadores para medir la calidad educativa en nuestra propia forma. Para hacer esto tenemos que tener una clara entendimiento de nuestra propia historia, los datos democráticos de nuestros estudiantes y profesores, el estatus económico no podemos compararnos con otros países que están bastante más establecidos en términos económicos o los que son bastante más pobres, tenemos que realmente pensar por nosotros mismos sobre lo que es nuestra propia estructura, también tenemos que tomar en consideración los intereses políticas y las prioridades que tenemos como institución y todo esto demanda de tercer punto que es una reflexión profunda que tiene que ser cada institución basado en esos preguntas de guía hay que pensar sobre todos los indicadores que sabemos que existen y decidimos cuáles son realmente lo más importante para nosotros para medir la calidad educativa. Con esto les invito a empezar con esta reflexión, si tuviera que ofrecer consejos yo haría cinco básicos, se debe cumplir con los pisos antes de los techos, no se puede comenzar a medir cuántas publicaciones tenemos en revistas indexados sino tenemos un cuerpo docente que sabe investigar, entonces hay distintos pisos que tenemos que plantear antes que se puede construir sobre indicadores de más complejidad. Segundo no podemos simplemente copiar lo que está haciendo el vecino y utilizar los mismos indicadores, es algo muy personalizado. Tercero, invertir mucha plata en algo no significa que es una garantía de calidad. Si tu visión es ser mejor en rendimiento escolar, el edificio realmente mejoró la calidad de rendimiento de los estudiantes o es de elegir o sea priorizar distintos indicadores como calidad docente, por ejemplo, horarios o transporte o otras cosas más para rendir mejor o mejorar sus procesos de calidad basado en la visión que tiene tu propia institución. Cuarto, no debemos tener miedo de la complejidad. Como indicamos antes, algunos de los mejores indicadores para mejorar la calidad de rendimiento escolar, el aprendizaje en general, tiene que ver con la calidad docente y eso es complicado. Pero sabemos que hace mucho más por mejorar la calidad educativa que simplemente tener un indicador que cuenta cuántos uniformes gratuitos que entregamos. Entonces, uno, o sea, son muy distintos, uno es menos complicado en hacerlo. Otro es bastante más complicado, pero sabemos que la complejidad realmente rinde mejor resultados en términos de calidad. Entonces, no debemos tener miedo de la complejidad. Y finalmente hay que considerar las herramientas que utilizamos para medir todos esos indicadores y para hacer eso hay que determinar ante manos si va a ser un indicador que simplemente es un producto o es algo de procesos o algo de progreso, porque eso sí cambia todo nuestro estrategia y la metodología que aplicamos para hacer la medición de esos indicadores. Con eso termino y les agradezco la oportunidad de compartir con ustedes ese nuevo modelo. Ojalá que es de de utilidad para ustedes y sus instituciones.