El Ciudadano
Por Dr. Jorge Miranda Ossandón, Facultad de Educación, U. Católica de Temuco
Cada tres años, dos días después de que se publican los resultados, suena el teléfono. Al otro lado hay un periodista amable con poco tiempo y una sola pregunta: profesor, ¿en qué lugar quedamos?
La respuesta honesta es incómoda, porque el lugar es la cifra menos confiable de todo el informe.
Conviene entender qué es un puntaje PISA antes de discutir si subió o bajó. Ningún estudiante responde la prueba completa. Los ítems se reparten en cuadernillos rotados, cada joven contesta una fracción distinta (nunca la misma que su compañero de banco), y lo que después se publica no son notas sino estimaciones estadísticas de cómo se comportaría la población si todos hubieran respondido todo.
En rigor, el puntaje de un estudiante chileno no existe. Existe una descripción probabilística de los quince años chilenos como conjunto. Es un instrumento hecho para retratar países, no personas, y funciona bien mientras se le pregunte eso.
El problema empieza cuando le pedimos precisión de decimales. En 2014, Svend Kreiner, un estadístico de la Universidad de Copenhague, mostró que el modelo con el que PISA convierte respuestas en puntajes no ajusta del todo a los datos de lectura, y que eligiendo distintos subconjuntos de preguntas, todos igual de defendibles desde el punto de vista técnico, un país podía moverse decenas de lugares en la tabla.
Hubo discusión después. John Jerrim y su equipo acotaron el hallazgo en 2018: los promedios resisten bastante bien el cambio de modelo, aunque no son del todo indiferentes a él. La conclusión práctica de esa pelea académica es la que nunca llega al titular. El promedio aguanta. El puesto no.
Chile quedó en el lugar 37 de 90 en lectura, 43 de 91 en ciencias y 61 de 90 en matemática. Esos tres números son los que más circularon esta semana y los tres son los más frágiles del informe.
Entre Chile y Uruguay hay dos puntos en matemática y tres en ciencias, diferencias que caben holgadamente dentro del margen de error; decir que uno lidera al otro es leer ruido. En lectura la ventaja chilena sí aguanta, porque son trece puntos.
Hay algo peor que la fragilidad del puesto, y es la trampa de la comparación regional.
PISA evalúa a los jóvenes de quince años que siguen en el sistema escolar. A los que ya no están, no los mide. En el ciclo 2022, Chile tenía a cerca del 86% de sus adolescentes de esa edad dentro de la muestra; Uruguay, al 85%; Argentina, al 84%. Guatemala tenía al 48%. Panamá, al 58%. México, al 64%.
Cuando decimos que Chile lidera América Latina estamos comparando un curso donde fueron casi todos con varios cursos donde faltó la mitad, y donde los que faltaron son, previsiblemente, los que peor habrían rendido. Lo digo con incomodidad porque yo mismo he mostrado ese dato en una presentación, con el mapa de la región y Chile arriba, sin decir una palabra sobre cobertura. Es la clase de omisión que uno comete de buena fe y que igual deforma la conversación.
Después está lo que PISA simplemente no puede responder, por diseño. No permite comparar regiones: la muestra chilena de este ciclo fueron 6.574 estudiantes de 222 establecimientos, cifra pensada para representar al país entero y no a La Araucanía frente a Antofagasta.
Cualquier tabla regional que circule tiene márgenes de error tan anchos que las diferencias se disuelven. Tampoco dice nada sobre un colegio en particular, ni sobre un estudiante, ni sobre un profesor.
Y hay una ausencia que en esta región duele más. PISA no registra adscripción a pueblos originarios en Chile. Buena parte de la matrícula escolar de La Araucanía es mapuche (58.610 estudiantes algo así como el 28,5%), y respecto de ella el instrumento internacional más citado del país no tiene absolutamente nada que decir.
No es que los resultados sean malos o buenos es que esos estudiantes son, para efectos de esta medición, estadísticamente invisibles.
A eso hay que sumar todo lo que la prueba no mide porque nunca se propuso medirlo. Convivencia democrática, formación ciudadana, expresión artística, competencia intercultural, dominio de una lengua originaria, la capacidad de sostener un proyecto. Nada de eso genera cifras comparables cada tres años, y por eso nada de eso ocupa espacio en la discusión pública sobre calidad educativa.
Terminamos hablando de lo que se puede contar en vez de lo que decidimos que importaba y se plasmó en los diversos proyectos educativos institucionales.
Con todo, sería un error usar estas objeciones para desestimar el instrumento. PISA es la mejor herramienta tecnicamente comparada que tenemos y hay cosas que dice con firmeza, sin depender del modelo de escalamiento ni del puesto en la tabla. Son tres, y ninguna de las tres fue titular en la prensa.
La primera: el 59% de los jóvenes chilenos de quince años no alcanza el nivel mínimo en matemática. Dicho de otro modo, en un curso de cuarenta, veinticuatro no logran los aprendizajes propuestos. Ese porcentaje no se mueve aunque uno cambie el subconjunto de ítems ni aunque corrija por cobertura; es demasiado grande para ser artefacto de medición.
La segunda, el piso se ensanchó. Desde 2015, la proporción bajo ese umbral creció diez puntos porcentuales en matemática y otros diez en lectura. Es una tendencia sostenida a lo largo de tres ciclos, no un tropiezo post pandemia.
La tercera es la que menos se ha dicho y quizás la más grave. Entre el 1% y el 2% de los estudiantes chilenos alcanza los niveles superiores de desempeño en cada área, contra un 7% u 8% en los países de la OCDE. En matemática la cifra chilena es prácticamente cero.
No tenemos un problema de rezago con un grupo de excelencia que tira del carro. Tenemos una distribución entera corrida hacia abajo y aplastada, sin cola superior. Un país que discute obsesivamente su promedio y jamás su techo está mirando la mitad del gráfico.
Ahí está, me parece, la diferencia entre usar el dato y obedecerlo. El puesto en la tabla es una cifra ansiosa que se presta para el titular y no sostiene ninguna decisión. La forma de la distribución es información dura, incómoda y accionable, y lleva años disponible sin que nadie la convierta en política efectiva para el mejoramiento de los aprendizajes en el aula.
Sospecho que parte del problema es que la primera pregunta cabe en un titular y la segunda no. Pero también que preguntar por el lugar permite terminar la conversación en treinta segundos, y preguntar por la forma obliga a quedarse.
La próxima vez que suene el teléfono voy a intentar responder otra cosa. Tengo la impresión de que no me van a publicar.
(*) El Dr. Jorge Miranda Ossandón es investigador responsable del proyecto Fondecyt de Iniciación 11240073
La entrada Lo que PISA dice y lo que le hacemos decir se publicó primero en El Ciudadano.
🔥 Ver noticia completa en ElCiudadano.cl 🔥
