Explicaciones pendientes sobre la exclusión de Argentina en PISA

La reciente difusión de los resultados de la edición 2015 de las pruebas PISA suscitó una polémica en la Argentina por la decisión del organismo evaluador, la OCDE, de excluir a este país del ranking en el que se presentan los principales resultados (Clarín, La Nación y Página 12).

La decisión fue acompañada por otra, novedosa, de reemplazar a la Argentina por los resultados obtenidos por la Ciudad de Buenos Aires, distrito que había solicitado tener un relevamiento aparte y que obtuvo un puntaje récord en la comparación histórica de la evaluación (Volumen 1, pág.44).

La decisión volvió a poner sobre la mesa de discusión, temas relativos a la validez de las evaluaciones estandarizadas, la influencia de los organismos internacionales en estas iniciativas, así como los esfuerzos que hacen los gobiernos de distintos países del mundo para mejorar en las tablas de posiciones que surgen de las evaluaciones. A este aspecto, se sumó en nuestro país, la influencia de un gobierno entrante sobre la no difusión de resultados que contribuyeran a valorar el saldo de la gestión de un gobierno saliente.

La comunicación institucional, la prensa y las redes sociales volvieron a ofrecer un espectáculo particular en el contexto de la difusión de los resultados, con sus intervenciones, apreciaciones y opiniones que, en la mayor parte de los casos, estuvieron marcadas por cierta superficialidad en la consideración de la evaluación y sus consecuencias. La complejidad del operativo que está detrás del ranking de PISA, así como ciertos aspectos aún no transparentados sobre la conformación de las muestras de escuelas y estudiantes de Argentina, colaboraron para sumar confusión y desconcierto. Analistas y periodistas que movieron sus plumas en los días posteriores a la difusión de resultados no alcanzaron a explicar con suficiente claridad los motivos de la exclusión de Argentina, lo que en parte se explica porque la OCDE no abundó en detalles metodológicos y porque el informe técnico sobre la prueba demorará un tiempo más en ver la luz.

Sobre PISA basta decir aquí que es una evaluación internacional estandarizada con una lógica similar a muchas que existen hace varias décadas en la mayor parte de los países, pero que se ha distinguido por la gran difusión alcanzada merced a la utilización de un atractivo ranking de países para publicar sus resultados. Esto le ha permitido a la OCDE (organismo internacional también conocido como “el club de los países ricos”) ganar influencia sobre las políticas educativas que aplican los gobiernos de distintos países del mundo, accediendo a una posición de preeminencia sobre otros que habían dominado la escena en el contexto de las reformas de la década de los noventa (el BID, el Banco Mundial) y, aún, sobre la UNESCO, el principal organismo internacional del sistema de Naciones Unidas dedicado a educación.

La muestra PISA paso a paso

La prueba PISA ha recibido críticas desde diversos sectores académicos, gremiales y gubernamentales (académicos de países centrales, CTERA, Ministros de Educación del MERCOSUR). Se ha señalado que la iniciativa no concibe la evaluación educativa de manera integral; que tiene una concepción globalizadora de la educación; o que sus ítems tienen sesgos socioculturales imposibles desconocer, entre otros aspectos. También debe apuntarse que la prueba tiene ya una trayectoria importante y que, más allá de su negativo uso político-mediático, sus bases de datos resultan un insumo muy valioso para la investigación educativa comparada. Sin embargo, hay un aspecto sobre el que se ha reparado poco y que tiene la mayor importancia a la hora de interpretar los resultados de la evaluación y es el carácter muestral del operativo que deriva en errores de diverso tipo.

Como todo operativo estadístico que se basa en una muestra, la prueba PISA debe lidiar con todas las dificultades que implica seleccionar una muestra en el terreno de las ciencias sociales y las políticas públicas, un ámbito muy distinto al del laboratorio que caracteriza a la investigación en las denominadas ciencias duras y en el que se tiene información y control completo del proceso. Se suma a esto el hecho de que la muestra de PISA se confecciona en un abanico de más de setenta países de todos los continentes donde, tanto las estructuras de los sistemas educativos, como la disponibilidad y actualización de la información utilizada para seleccionar la muestra, son muy variables. Por eso, vale detenerse un momento para clarificar aspectos específicos del muestreo en el campo de la investigación social en general y, educativo, en particular.

Realizar una muestra en un estudio social tiene, esquemáticamente, cuatro grandes pasos. El primero consiste en reunir toda la información posible sobre lo que se va a muestrear, esto es, elaborar el marco muestral (figura 1). Si se trata de viviendas, un listado o mapa de viviendas; si son empresas, un listado que contenga también datos sobre la actividad de cada una, su nivel facturación, cantidad de empleados, etc. En el caso de las muestras en educación, en general se requiere tener un listado de escuelas y características de cada una respecto de sus grupos de alumnos, su cantidad, características de los estudiantes (por ej. sexo, edad, año de estudio al que asisten), entre otras variables. En PISA, la información para elaborar el marco muestral es provista por cada país. El personal técnico contratado por OCDE recibe esta información y la chequea tomando como referencia otra información como la recibida en años anteriores y todas las estadísticas disponibles de cada país. En el caso de que haya datos que generen dudas, los técnicos de PISA realizan consultas al país para confirmar si aceptan o no esa información para conformar el marco muestral.

Figura 1. Cuatro pasos de una muestra en ciencias sociales

El segundo paso (selección de casos) consiste en diseñar un procedimiento de selección sobre el listado de elementos o unidades de análisis (viviendas, empresas, alumnos) y aplicarlo, obteniendo un subconjunto final de unidades que se espera relevar o encuestar o, en el caso de una evaluación estandarizada, estudiantes a los que se va a aplicar una prueba. El procedimiento de selección se realiza, habitualmente, en el contexto de lo que prescribe la teoría del muestreo, un campo del conocimiento que no está libre de controversias, pero que ofrece una referencia conceptual para validar la selección y tener una alta probabilidad de que la muestra sea representativa de la población. En el caso de PISA, este segundo paso es diseñado e implementado por el personal técnico contratado por la OCDE, luego de recibir, supervisar y consolidar la información del marco muestral para cada país.

El tercer paso de un procedimiento muestral en ciencias sociales es siempre el más complejo: acceder a las unidades seleccionadas en el paso dos y obtener su respuesta al requerimiento de una encuesta o una prueba. Los obstáculos para ello no se producen solo por el rechazo a responder o la ausencia de los agentes que deben participar, sino también por los problemas que tiene la información utilizada en el primero de los tres pasos mencionados, esto es, en el momento de confeccionar el listado de unidades que conforman el universo sobre el que va seleccionarse la muestra o marco muestral. En el caso de la información educativa para el marco muestral de PISA, se suman problemas de actualización: en diversos países, el operativo de 2015 fue diseñado con información consolidada en 2014 que, a su vez, incluye algunos datos correspondientes al 2013. En PISA 2015, la tasa de respuesta de estudiantes (cantidad de estudiantes evaluados en el paso 3 sobre cantidad estudiantes previstos en el paso 2), tuvo un promedio del 92% para el total de países participantes. Los países con niveles inferiores de respuesta (por debajo del 85%) fueron varios, la mayoría de ellos, socios de la OCDE: Australia, Austria, Canadá, Nueva Zelanda, Portugal y Trinidad y Tobago. Argentina obtuvo en 2015 una tasa de respuesta muestral del 90% (6.349 estudiantes evaluados sobre 7.016 seleccionados en el paso 2) y había tenido tasas de respuesta similares en las ediciones anteriores: 88% en el año en 2009 y el mismo porcentaje en 2012 (cuadro 1).

El cuarto paso de un procedimiento muestral es el que se realiza con los datos ya recabados y cargados en una base de datos. Es una etapa de evaluación de la calidad de la muestra en la que, además de valorar la tasa de respuesta, se estudian posibles sesgos en la no respuesta, es decir, se intenta saber si los casos que no respondieron tienen algún patrón como, por ejemplo, tener bajo nivel socio-económico o residir mayoritariamente en cierto territorio. Se asume que si la no respuesta no excede ciertos niveles y, además, se distribuye de manera aleatoria, es decir, sin ningún patrón, los resultados son confiables. Para el caso de la muestra de Argentina en PISA 2015, se cumplen ambos criterios ya que la tasa de respuesta es del 90% y tanto las actuales autoridades educativas del país como otros datos difundidos con posterioridad, ponen en evidencia que no hay intencionalidad ni sesgo en la muestra (gráfico 1). Por último, vale apuntar que en esta cuarta etapa se determina también la ponderación de la muestra, es decir, el peso que tendrá cada caso  a la hora de procesar los datos, lo que surge tanto del diseño original de la muestra como del tratamiento que se da a la no respuesta.

Gráfico 1. Indicadores de desempeño de las escuelas secundarias del Total País
y  de las escuelas incluidas en la muestra PISA. En porcentaje. Año 2014

Fuente: documento “Precisiones técnicas sobre PISA 2015”, distribuido en la conferencia de prensa realizada el 16/12/2016 en la Facultad de Filosofía y Letras de la Universidad de Buenos Aires.

¿Por qué Argentina fue excluida?

El 6 de diciembre pasado fueron difundidos los principales informes con los resultados del operativo PISA 2015. El informe principal o volumen 1 incluye algunas precisiones metodológicas sobre las muestras en los anexos (pág. 288 en adelante), pero no se alcanza a explicar, de manera acabada, la exclusión de Argentina. Resta que la OCDE publique el informe técnico 2015, algo que, en ediciones anteriores, también demoró un poco más.

La explicación de que se dispone hasta el momento sobre la exclusión de Argentina se presenta en un párrafo en la página 304 del volumen 1. En ese pasaje se señala que se advierte un significativo descenso de los jóvenes de 15 años cubiertos por la muestra (si bien no se aclara, se asume que es un descenso con respecto al operativo de 2012). Tal descenso, continúa el informe, se explica por la reestructuración de las escuelas secundarias de Argentina. Este pasaje se refiere a la fusión de EGB3 y Polimodal para conformar secundarias completas, proceso que se puso en marcha luego de la sanción de la Ley de Educación Nacional  de 2006 (ver art. 134) y que todavía estaba en proceso en 2015, según puede apreciarse en el anuario estadístico de la DINIEE, en el que se advierte que aún quedan 1.601 secundarias incompletas-. La reestructuración de la secundaria habría afectado la cobertura de escuelas elegibles que fueron listadas en el marco muestral. Por último, se indica que el descenso en la cobertura de estudiantes implica que los resultados de Argentina no sean comparables con sus operativos anteriores y con los resultados alcanzados por otros países. Este sería el motivo por el que se excluyó al país del conocido ranking.

Más precisiones sobre la cobertura de estudiantes de Argentina y todos los países se presentan en la página 290 del mismo volumen. En la tabla A2.1  de la página 290 (sugerimos consultar esta información en las planillas de cálculo externas a las que se accede desde el hipervínculo ubicado en la página 279 del volumen 1), se indica que los 6.349 estudiantes evaluados en Argentina representan a 394.917 jóvenes de 15 años, esto es, al 55% de todos los jóvenes del país de 15 años que totalizan 718.635. El informe no explica cómo es que una muestra de 6.349 jóvenes, solo 10% inferior a la prevista por los técnicos de la OCDE, cubre sólo a algo más de la mitad de la población total de referencia. La lectura que podría hacerse es que la OCDE modificó sustancialmente el peso o ponderación promedio de cada estudiante que respondió la prueba en Argentina, y que lo hizo en algún momento del año 2016, luego de haber incorporado nuevas escuelas elegibles al marco muestral. La reducción de esa ponderación ha sido muy significativa como para llegar a que una muestra sólo algo inferior a la prevista, redunde en una representatividad muy baja sobre la población total.

Cuadro 1. Valores e indicadores del universo y la muestra PISA de Argentina.
Años 2009, 2012 y 2015

Fuente: elaboración propia sobre la base de la tabla A2.1 del volumen 1 (pág. 290) para 2015 y misma tabla para las ediciones previas de la prueba. Los datos de las dos columnas cuyos encabezados están grisados en un tono más oscuro, no surgen del informe PISA sino que son de elaboración propia.

Para comprender las decisiones técnicas que hay detrás de la decisión de excluir a la Argentina, será necesario conocer información adicional a la publicada hasta el momento. En primer lugar, el organismo debería confirmar cuántas escuelas habían quedado fuera del marco muestral original. En segundo lugar, será importante que se especifique cuándo y por qué tales escuelas pasaron a ser elegibles. En tercer lugar, debería informarse cuántos alumnos de 15 años había en las escuelas que pasaron a ser elegibles. Esta información es clave para explicar el descenso en la ponderación promedio de cada estudiante argentino que rindió la prueba, ya que fue ésta la decisión técnica clave que derivó en que la cobertura de Argentina, expresada en el index o índice 3  (columna H del cuadro 1), fuera de 55%. También será importante que se confirme o rectifique la versión que indica que fue la nueva gestión de gobierno de Argentina, la que solicitó la autoexclusión del país del ranking, hecho que sumaría mucho en favor de la transparencia en las decisiones públicas.

Medir con distinta vara

Más allá de las precisiones metodológicas que todavía no han sido dadas a conocer, hay otros aspectos de la difusión de resultados que resulta difícil de entender. Si el problema, efectivamente, fue el bajo nivel cobertura plasmado en el índice 3 (donde Argentina alcanzó el 55% en 2015) habrá que decir que varios países alcanzaron valores sólo algo superiores (México, 62%; Costa Rica, 63%; China, 64%) y que también hubo uno con una cobertura 6 puntos inferior a la Argentina (Vietnam con 49%) y, sin embargo, todos estos países están incluidos en el ranking. Por otra parte, en ediciones anteriores, fueron varios los países que obtuvieron valores similares a Argentina en este índice (Albania, 55%; Brasil, 55%) e incluso inferiores (Costa Rica, 50%; Indonesia, 53%) y, sin embargo, también fueron incluidos en el ranking. Hay un caso, incluso, en el que se advierte una variación en el índice de cobertura mucho más acusado que el de Argentina entre dos mediciones y que no dio lugar a que se excluyera al país del ranking con el argumento de que ese cambio impide la comparación. Se trata de Albania, país en el que la cobertura subió de 55% en 2012 a 84% en 2015. En cualquier caso, se mencionan todas estas situaciones para sugerir que la complejidad y costos que tienen los operativos como los de la prueba PISA, están siempre atravesados por diversos problemas en cada uno de los múltiples pasos que tiene el procedimiento y que, en algunos casos, se han tomado decisiones técnicas que permiten solucionar posibles problemas en las muestras y sus resultados.

Será necesario aguardar mayores precisiones técnicas de la OCDE en cuanto a la exclusión de nuestro país de los resultados generales. A priori, la decisión parece algo forzada, como resultado de un juego de influencias entre un gobierno entrante, que busca instalar líneas de base que viabilicen su proyecto de reforma educativa, y un organismo internacional como la OCDE, cuyos intereses y políticas tienen importantes puntos de coincidencia con la agenda impulsada por la actual gestión de gobierno en Argentina. Hasta tanto se tenga más y mejor evidencia sobre la exclusión del país del ranking y su reemplazo por los inéditos resultados alcanzados por la CABA, tendremos que explicarnos la exclusión, más por influencias e intereses que por un problema de escuelas elegibles en un marco muestral.