¿Qué enseñanzas nos deja la reciente evaluación de PISA?

¿Qué enseñanzas nos deja la reciente evaluación de PISA?

 

Más allá de lo que expresen los críticos o los defensores de la prueba PISA (Programme for International for Student Assessment), lo que deberíamos hacer es revisar de manera crítica y con objetividad el mensaje que este año nos entrega esta prueba y así extraer sus enseñanzas con el fin de orientar decisiones de mejoramiento de los procesos educativos y conseguir que mejoren los resultados.

 

 

Si bien podemos afirmar que el fin último de la escolarización es que ésta sirva para que los educandos logren movilidad económica y social que les permita gozar de una vida digna para ellos y para sus familias, no podemos negar que el logro de aprendizajes que sean pertinentes y de calidad es condición necesaria para lograr ese objetivo.

A partir del 3 de diciembre de 2019, fecha en que se anunciaron los resultados de PISA 2018, asistimos a una vorágine de opiniones de naturaleza técnica y política, ya sea de expertos, líderes de opinión, funcionarios, ex funcionarios nacionales o de organismos internacionales. A mi juicio, el tema es rastrear a fondo las enseñanzas y enseguida decidir qué haremos con ellas.

No es ocioso decir de nuevo qué es lo que hace PISA. Esta prueba internacional promovida por la OCDE desde la última década del siglo XX está orientada a valorar el nivel de desempeño que los jóvenes de 15 años que permanecen en la escuela han logrado a través de la escolarización básica en las competencias de lectura, matemáticas y ciencias, consideradas claves para los aprendizajes futuros y la inserción en el mundo del trabajo. El diseño consiste en valorar cada tres años las competencias antes mencionadas con énfasis en una de ellas. El ciclo inició con énfasis en la evaluación de la competencia lectora en el año 2000; en 2009 esta competencia también fue la principal, lo cual ocurrió por tercera vez en 2018. La competencia matemática como área principal se evaluó en 2003, y la de ciencias en 2006. A la fecha, se ha cubierto un ciclo completo de matemáticas en 2012 y de ciencias en 2015. Esto permite ver en perspectiva los resultados de nuestros estudiantes.1

Se diseña una muestra aleatoria con representatividad nacional para la aplicación de la prueba. La mayoría de los estudiantes se encuentra en el primer grado de bachillerato y otros en tercer grado de educación secundaria. Los 15 años corresponden a la edad normativa para cursar el bachillerato. Se puede observar en la distribución de la muestra de México que cerca de 22% de los estudiantes se encuentra en tercero de secundaria y el resto en bachillerato. La proporción en secundaria ha ido disminuyendo de manera notable a lo largo del tiempo. Esto último se debe, sin duda, al mejoramiento de la permanencia en la escuela, así como a la conclusión de este nivel de la educación básica con oportunidad.

Para ver los resultados de nuestros estudiantes en PISA, la práctica generalizada es conocer la puntuación promedio y ver en qué lugar del ranking quedó México respecto de diferentes agrupaciones de países utilizando distintos criterios. Esto dice algo, pero no mucho. Lo que hay que mirar con cuidado son las brechas entre unos países y otros, analizar las posibles razones de estas brechas, así como identificar aquello que logran unos y otros estudiantes.

Centraré la atención en el caso de la competencia de lectura, ya que fue el área principal en 2018. Como he dicho, la atención se concentra en la posición que ocupa el país utilizando la puntuación promedio. Posición respecto de los 79 países que participaron en 2018, o de los países que pertenecen a la OCDE, o de los países de América Latina. En todos estos casos la posición que logró México no es la que quisiéramos; antes bien, produce desaliento y enojo en muchos mexicanos, y en otros, franco rechazo a PISA y a sus resultados. No me detendré en el tema del ordenamiento de los países. Los lectores interesados podrán consultar información en https://www.oecd.org/pisa/PISA-results_ENGLISH.png.

Además de las emociones encontradas que produce conocer el lugar que ocupa México en la lista de países utilizando la puntuación promedio, hay otras aristas de PISA que, a mi juicio, son más importantes y de las que se habla poco. Me refiero a conocer los niveles de desempeño; esto es, qué significa que un estudiante o un conjunto de ellos se ubique en tal o cual nivel, qué saben y qué son capaces de hacer. Además, cuántos de nuestros estudiantes se encuentra en cada nivel, algunos de los factores asociados a los resultados, lo que permitiría advertir el tamaño y las características del reto.

De la nota del país que publicó la OCDE y que se puede consultar en https://www.oecd.org/pisa/publications/PISA2018_CN_MEX_Spanish.pdf destaco lo siguiente: el desempeño promedio de nuestros estudiantes se ha mantenido estable en lectura, matemáticas y ciencias a lo largo de casi dos décadas. Este hecho se puede constatar analizando los resultados en cada una de las áreas. Hay que decir que no es una mala noticia, aunque no es fácil verlo de esta manera, sobre todo si la expectativa es observar mejoras sustanciales. Además, los análisis señalan que esta estabilidad general oculta tendencias positivas, sobre todo en los estudiantes de más bajo desempeño.

En 2017 una de las contribuciones técnicas más importantes para ver si avanzamos o no en la garantía del derecho a la educación en nuestro país fue la construcción de Índice del Déficit de Competencias (IDC) por parte de Teresa Bracho.2 Este índice aplicado a la serie histórica de los resultados de PISA muestra que los estudiantes de más bajo desempeño mejoraron sus puntuaciones, aunque sigan en el mismo nivel, pero se encuentran más cerca de transitar al siguiente nivel, lo cual significa una reducción de las brechas.

Por otro lado, el desempeño de nuestros estudiantes ocurre en un periodo de franco crecimiento de la cobertura de la educación secundaria y el bachillerato. De este último su obligatoriedad es reciente: se estableció en el artículo tercero de nuestra Carta Magna en 2012. La experiencia de un sinnúmero de países muestra que es difícil lograr con la misma eficacia los propósitos de acceso a la escuela junto con los de calidad. No obstante, hay evidencias de otros países en los que el aumento en el acceso a la escolarización no suele hacerse hipotecando la calidad que reciben los estudiantes. Seis países (Albania, Brasil, Indonesia, México, Turquía y Uruguay) incrementaron de manera significativa sus tasas de matrícula y mantuvieron o mejoraron su desempeño promedio en lectura, matemáticas y ciencias.

Por último, destaco algunos elementos de los niveles de desempeño de la competencia en lectura. Los niveles de desempeño definidos son seis.3 En el cuadro siguiente se podrá observar una breve caracterización de lo que los estudiantes saben y saben hacer en cada uno de estos niveles. Esta descripción es muy elocuente.

 

Descripción de los niveles de desempeño de lectura en PISA

 

Nivel

Resumen de lo que los estudiantes saben y pueden hacer en lectura

6

 

 

  • Realizan múltiples inferencias, comparaciones y contrastes detallados y precisos.
  • Demuestran una comprensión plena y detallada de uno o más textos y pueden integrar información de más de un texto.
  • Formulan hipótesis o evalúan críticamente un texto complejo sobre un tema no familiar, tomando en cuenta múltiples criterios o perspectivas y aplicando interpretaciones sofisticadas desarrolladas a través del texto.
  • Una condición destacada para las tareas de acceso y recuperación en este nivel es la precisión del análisis y la cuidadosa atención a los detalles que pasan desapercibidos en el texto.

5

 

  • Localizar y organizar varios conjuntos de información profundamente incrustada e inferir cuál es la información del texto más relevante.
  • Las tareas de reflexión requieren la evaluación crítica o la formulación de hipótesis, basadas en conocimiento especializado.
  • Tanto las tareas de interpretación como las de reflexión requieren una comprensión plena y detallada de un texto cuyo contenido o forma no sea familiar.
  • Para todos los aspectos de la lectura, las tareas en este nivel normalmente involucran enfrentarse con conceptos que son contrarios a lo esperado.

4

 

  • Localizar y organizar varios conjuntos de información incrustada.
  • También pueden interpretar el significado de matices del lenguaje en una sección de un texto. En otras tareas de interpretación, demuestran la comprensión y la aplicación de categorías en un contexto no familiar.
  • Pueden utilizar conocimiento formal o público para formular hipótesis acerca de un texto o evaluarlo críticamente.

3

 

 

 

 

  • Localizar y, en algunos casos, reconocer la relación entre varias piezas de información que pueden ser encontradas en diversas condiciones con el fin de identificar una idea principal, comprender una relación o construir el significado de una palabra o frase.
  • Con frecuencia, la información que se requiere no se destaca o hay mucha información conflictiva; o hay otros obstáculos en el texto, como ideas que son contrarias a lo esperado o formuladas de forma negativa. Las tareas de reflexión en este nivel pueden requerir conexiones, comparaciones y explicaciones, o que el lector evalúe una característica del texto. Algunas tareas de reflexión requieren que los lectores demuestren una comprensión detallada del texto en relación con un conocimiento familiar, de cada día.
  • Otras tareas no requieren la comprensión detallada del texto, pero sí que el lector se base en un conocimiento menos común.

2

 

 

  • Localizar una o más piezas de información, que puede ser necesario inferir y que puede requerir varias condiciones.
  • Pueden reconocer la idea principal de un texto, entender las relaciones o construir significado dentro de una parte limitada del texto cuando la información no se encuentra destacada y el lector debe hacer inferencias de bajo nivel.
  • Las tareas pueden involucrar comparaciones o contrastes con base en una característica particular del texto. Las tareas de reflexión típicas de este nivel requieren que los lectores hagan una comparación o diferentes conexiones entre el texto y el conocimiento externo, basándose en la experiencia y en actitudes personales.

1a

 

  • Localizar una o más piezas independientes de información específicamente expresadas.
  • Reconocer el tema principal o el propósito del autor en un texto sobre un tema familiar, o hacer una conexión simple entre la información en el texto y el conocimiento común, de cada día.
  • Normalmente, la información requerida se destaca en el texto y hay poca, o ninguna, información conflictiva.
  • El estudiante es dirigido explícitamente a considerar factores relevantes en la tarea y el texto.

1b

 

  • Localizar una pieza específica de información explícitamente expresada en una posición destacada en un texto corto, sintácticamente simple, con un contexto y un tipo de texto familiares, como una narración o una lista simple.
  • Los textos normalmente proveen apoyo al lector, como la repetición de información, imágenes o símbolos familiares.
  • La información conflictiva es mínima. Pueden interpretar textos haciendo conexiones simples entre conjuntos adyacentes de información.

1c

  • Entender y afirmar el significado de oraciones cortas, sintácticamente simples a nivel literal.
  • Leer con un propósito claro y simple en un tiempo limitado.
  • Las tareas en este nivel implican un vocabulario y estructuras sintácticas simples.

 

Fuente: OCDE (2019) y PISA 2018 Results (Vol. I) What Students Know and Can Do. Traducción libre.

 

Según la nota país publicada por la OCDE: “55% de los estudiantes alcanzó al menos un nivel 2 de competencia en lectura. Estos estudiantes pueden identificar la idea principal en un texto de longitud moderada, encontrar información basada en criterios explícitos, aunque a veces complejos, y pueden reflexionar sobre el propósito y la forma de los textos cuando se les indica explícitamente que lo hagan. Alrededor de 1% de los estudiantes mostró un rendimiento superior en lectura, lo que significa que alcanzaron el nivel 5 o 6 en la prueba PISA de lectura. En estos niveles, los estudiantes pueden comprender textos largos, tratar conceptos que son abstractos o contraintuitivos, y establecer distinciones entre hechos y opiniones, basadas en claves implícitas relacionadas con el contenido o la fuente de la información”. Información más a detalle sobre los niveles de desempeño y la distribución de nuestros estudiantes seguramente la conoceremos dentro de unos meses en que los análisis correspondientes se hayan realizado y estén publicados.

Podemos y debemos hacer los análisis y las discusiones que permitan comprender la naturaleza del desempeño de nuestros estudiantes en PISA. Las comparaciones entre las condiciones de los países ayudan. Identificar los factores que afectan positiva o negativamente el desempeño de los estudiantes aporta. Mirar nuestra propia realidad y su dinámica, también ayuda. No se trata de analizar la información para construir culpables, excusas o autocomplacencias improductivas, sino de saber qué pasa y reflexionar sobre lo que habría que hacer para que la educación que ofrecemos a nuestros niños y jóvenes sea de mejor calidad para todos.

Comparto la reflexión de Philippe Meirieu (2007: 42), destacado pedagogo francés, porque es iluminadora para comprender un poco mejor lo que vive nuestro sistema educativo: “Diría que los países occidentales, al democratizar el acceso a la escuela, no han sabido simultáneamente democratizar el éxito escolar. Simplemente han abierto las puertas, pero una vez que los niños que estaban excluidos de la escuela han entrado en ella, no se ha comprendido que quizás hacía falta modificarla para darles los medios para prosperar. Esto ha desembocado en una paradoja: aquellos que tradicionalmente eran víctimas de la exclusión escolar se han vuelto culpables de su propio fracaso. Y esto ha engendrado en los niños y sus familias una forma de rencor social mezclada con el sentimiento de haberse equivocado, porque se les ha dicho ‘venid’, ‘entrad’, pero no se ha procurado que en el interior encuentren su sitio y prosperen”.4

Hacernos conscientes de que en buena medida lo que dice Meirieu es lo que ha pasado en nuestro país contribuiría, por un lado, a celebrar el logro de la expansión monumental del sistema educativo, a la vez que reconocer y aceptar lo que no hemos conseguido, esto es, garantizar a todos el éxito escolar. Por otro lado, aceptar que podemos conocer el logro de aprendizajes a través de los resultados de evaluaciones nacionales e internacionales a gran escala como el caso de PISA que ahora nos ocupa.

Estoy convencida de que todos tenemos que asumir la responsabilidad que nos corresponde. Las autoridades educativas de la Federación y de cada estado habrán de tener la sensibilidad para apoyar los procesos que se llevan a cabo en cada escuela, en cada salón de clases y conseguir mejorar los resultados de aprendizaje. Hay que destacar que sus decisiones y su capacidad de liderazgo importan para orientar las acciones que favorezcan una buena educación para todos.

Los docentes y los directivos escolares tendrían que sentirse aludidos con estos resultados y convocados a decir su palabra. Su saber, que deviene de la práctica, es de una gran riqueza porque permitiría mejorar nuestras comprensiones sobre distintos elementos de lo que ocurre día con día en las aulas y en los centros escolares. No obstante las dificultades, los educadores saben que la educación busca cambiar la vida de las personas.

Los técnicos y los especialistas en distintas esferas del conocimiento científico sobre la educación podrían producir herramientas que ayuden a realizar análisis más finos de la información que permitan identificar mejor los desafíos con el fin de cumplir con el propósito de garantizar el derecho de todos a una educación que sea pertinente, equitativa y de calidad.

Y, por qué no, los propios estudiantes también tienen una alta responsabilidad en su propio aprendizaje. Despertar en ellos el deseo de aprender es un gran desafío para los educadores.

En la palabra “todos” también se incluye a las madres y a los padres de familia, a tutores, empresarios y organizaciones de la sociedad civil; en suma, a todos aquellos que queremos que México sea una sociedad donde imperen los valores de la democracia, entendida, como dice nuestra Constitución, “como un sistema de vida fundado en el constante mejoramiento económico, social y cultural”.

Tenemos que asumir la responsabilidad que nos corresponda para llevar a cabo las acciones necesarias con el fin de mejorar los aprendizajes y asegurar que éstos sean pertinentes para la vida presente y futura de los estudiantes. Para esta gran tarea se necesita información, comprenderla y saber qué hacer con ella. No hay que olvidar que el conocimiento tiene un gran poder de transformación.

Sin desconocer que la institución escolar juega un papel importantísimo en el mejoramiento de los procesos educativos, ya que sólo así se podrá conseguir que los resultados también sean mejores, conseguir el éxito escolar de todos y cada uno de nuestros estudiantes es deber de toda la sociedad.

 


 

* Profesora investigadora del Departamento de Educación de la Universidad Autónoma de Aguascalientes, México. Mi profundo agradecimiento a la maestra María Teresa Gutiérrez Cortés por su colaboración y su apoyo para este artículo.

1 Aunque parezca una verdad de Perogrullo, hay que decir que cada aplicación de PISA se llevó a cabo con una generación de estudiantes distinta. Así, los que resolvieron esta prueba en el año 2000 tienen ahora entre 24 y 25 años, algunos habrán concluido su educación superior, otros estarán por hacerlo y otros se habrán incorporado al mundo laboral desde temprana edad.

2 Véase el artículo de T. Bracho, “Índice del déficit en competencias. ¿Avanzamos hacia la garantía del derecho a la educación?”, Reformas y Políticas Educativas, núm. 4, septiembre-diciembre, México, Fondo de Cultura Económica, 2017.

3 Para ampliar la información sobre los niveles de desempeño, esto es, de lo que los estudiantes saben y pueden hacer en lectura, véase el documento de la OCDE, PISA 2018 Results (Vol. I) What Students Know and Can Do, 2017.

4 Philippe Meireu, entrevista publicada en Cuadernos de Pedagogía, núm. 373, noviembre de 2007, pp. 42-47.

  

5559-2250 / 5575-6321 / 5575-4935 - Aviso de Privacidad - Términos y Condiciones

Revista El Mundo del Abogado