Por Óscar Picardo Joao
Armando la Paes

La teoría educativa nos señala que evaluar “es un proceso mediante el cual se diseña un instrumento confiable y válido, para obtener información rigurosa y posteriormente analizar los resultados para intervenir y mejorar” (Terry D. Tenbrink). Existen múltiples herramientas para desarrollar procesos de evaluación. Una de ellas son las pruebas estandarizadas para aplicar en sistemas educativos; puede haber pruebas con referencia a “norma” (establecen el resultado de un estudiante respecto al grupo de evaluados y su propósito es diagnosticar el estado del sistema educativo) o con referencia a “criterio” (definen el resultado de un estudiante con respecto a un nivel de dominio o competencia, y su fin es analizar el comportamiento académico del grupo en sí mismo). En 2017 la PAES llega a su veinte aniversario de aplicación ininterrumpida y es oportuno hacer un balance. Digamos en primer lugar que es una de las medidas educativas más acertadas, producto del movimiento reformador que iniciara la entonces ministra Cecilia Gallardo con apoyo del equipo del MINED —Edmundo Salas e Hilda Álvarez— y de la Universidad centroamericana José Simeón Cañas (UCA) —Joaquín Samayoa y Agustín Fernandez, entre otros—, y que ha trascendido a los cambios de gobierno como un instrumento educativo de Estado (¡el único quizás!) que ha servido como herramienta censal de medición estandarizada a fin de tener fotografías del estado de la educación.

Pero valga la primera crítica: pese a lo positivo, nunca se ha utilizado eficazmente para hacer los cambios en el sistema educativo. La PAES ha pasado por cuatro fases: como herramienta de monitoreo de la reforma (1997-2000); el cambio de paradigma de ser referida a Criterio a referida a Norma (2002-2004); la utilización de su resultado como criterio de promoción (2004-a la fecha) con 0.25 % de la nota de los bachilleres; y la final apertura del secretismo (a partir de 2015) cuando se decide publicar los cuadernillos de la prueba una vez esta se ha aplicado y se elimina la PAES extraordinaria.

En su historia encontramos dos hitos críticos: uno, cuando se decidió aplicar un retoque estadístico a las curvas de resultados para beneficiar a las escuelas con los bonos, y dos, el episodio de fuga de cuadernillos que se dio en 1999. Y es importante también reconocer que de la experiencia PAES surgieron las Paesitas y la ECAP en el año 2000, así como el capital técnico para que El Salvador participara en pruebas internacionales —SERCE 2006 y TIMSS 2007— y obtuviera un destacado lugar en capacidad metodológica de aplicación.

Diseñar una buena prueba —confiable y válida— es un arte. Implica un trabajo minucioso, revisar las unidades de estudio de los programas, seleccionar los temas; diseñar posteriormente una ficha de ítem o reactivo, definir enunciados, opciones y fuentes de información, y todo esto lo discute un equipo de especialistas. Posteriormente hay que calibrar tres aspectos fundamentales: dificultad, discriminación y nivel taxonómico, es decir, valorar si la pregunta es fácil, intermedia o difícil; si es coherente con los promedios recurrentes de los estudiantes; y clarificar si mideconocimiento, comprensión, aplicación, análisis, evaluación o creación (Bloom, ad.2001).

Una vez tenemos un banco de ítems suficientemente amplio, se arman tablas de especificaciones para hacer un calibrado de prueba; se validan los ítems o reactivos; y se aplica el software “Iteman”, el cual permite verificar los supuestos de coherencia, dificultad y discriminación.

Al final la prueba está lista… pero ¿lo está el sistema?

¿Por qué no hay avances en los resultados de la PAES? Digamos en primer lugar que el resultado, como media estadística, refleja una situación relativamente aceptable en cuanto a distribución en una curva normal con grandes conglomerados (se avalúa a cerca de 70,000 estudiantes, y resultan promedios muy altos, otros muy bajos y la media), pero el resultado es bajo desde la perspectiva de logro académico —más allá de la estadística— y no hay una tendencia de cambio positiva. Solo en 1997, 1998 y 2008 se superó el promedio de 6, y en las últimas nueve ediciones el resultado se ha mantenido entre el 4.8 de 2011 y el 5.36 del presente 2017.

¿Qué sucede entonces? ¿Por qué no mejoramos? Veamos siete problemas críticos:

1. No se cumple el calendario escolar

La prueba está diseñada y ensamblada bajo un modelo de representatividad de los contenidos; en teoría, los contenidos curriculares de los programas de estudio se desarrollaron en 200 días del calendario escolar. Pero no es así. El destacado académico chileno, exministro de Educación y profesor de Harvard Ernesto Schiefelbein realizó un estudio en el país en 2008 y estimó que durante el curso escolar se trabajaban en El Salvador menos de 100 días de aprendizaje efectivo. Aquí aparece la primera clave de los resultados de la PAES: si estudias la mitad de los contenidos tu nota será equivalente al 50 %.

En algunos centros educativos, en torno al 22 de Junio la escuela se paraliza de 3 a 5 días: un día los estudiantes le celebran al maestro, otro a los padres, luego al director y finalmente los maestros se celebran entre sí. Además hay que excluir del calendario lectivo los días de ensayo de la banda de paz, los campeonatos deportivos intramuros, los feriados, los días especiales o el mes cívico, entre otros.

2. El Curriculum y los programas de estudio están ausentes

Tengo la costumbre, siempre que visito centros escolares, de solicitar los documentos del Curriculum Nacional y/o los Programas de Estudio. Generalmente no los encuentro. No están en las aulas ni en la Dirección. Cabe preguntarse: ¿con qué se enseña y aprende?

En Matemáticas, por ejemplo, la correlación de contenidos implica dominios de álgebra, estadística, relaciones y funciones, trigonometría y geometría analítica; pero en no pocos casos llega octubre y sólo se han cubierto seis de las nueve unidades del programa. El resto del curso es una carrera contra el tiempo. Otros institutos y colegios, más aventajados y menos éticos, comienzan desde inicios del año programas de refuerzo PrePaes, para acelerar y cubrir los contenidos que no se vieron en el programa regular.

3. El equipamiento es insuficiente

El programa de Ciencias Naturales en Educación Media —que integraFísica, Biología y Química— tiene doce unidades en primer año y once unidades en el segundo. En la unidad 1 se aborda por ejemplo el trabajo científico, las bases de la ciencia y la investigación. En la unidad 2 el movimiento y los fluidos, contenidos de Física. La 3 incluye estática y dinámica, y los principios de la electricidad. La 4 termodinámica y fenómenos electromagnéticos. La unidad 5 incluye el estudio de las ondas. La 6 aborda las soluciones químicas... ¿Se puede enseñar todo esto sin laboratorios, a punta de libros y pizarra? Aunque no se debería, así se hace. Muchos institutos y colegios tienen laboratorios muy limitados; algunos ni si quiera los tienen. En este contexto, los estudiantes tendrán un conocimiento limitado, teórico y poco eficaz.

4. No se cuida (y no se exige) a los docentes

Sobre la base del punto anterior, ¿está un docente de Ciencias capacitado para enseñar a la vez Física, Química y Biología bajo un modelo interdisciplinar, multidisciplinar o STEM —Science, Technology, Engineering y Mathematics—? Y yendo más allá de la dignificación docente y de otras circunstancias de esta profesión tan fundamental y a la vez tan desvalorizada, ¿qué tan eficientes y preparados están nuestros docentes para preparar a los estudiantes para la vida y para la PAES?

Tal como lo anotó el informe McKinsey (2008) titulado “Cómo hicieron los mejores sistemas educativos para lograr sus objetivos”: El docente es el factor determinante y techo de la calidad de un sistema educativo. La única forma de mejorar la calidad es mejorar cómo los docentes enseñan. Y no se valen capacitaciones superficiales. Es necesario un proceso profundo con evaluación de resultados —¿una PAES para docentes?— con un enfoque meritocrático, y con un salario de altura y digno.

5. No hay una devolución efectiva de resultados de la PAES

EL MINED tendría la capacidad estadística para realizar una devolución electrónica de resultados detallados en cada aula, materia y docente, con la finalidad de conocer los vacíos, y saber cuáles fueron los ítems que sus estudiantes no contestaron adecuadamente. Eso permitiría a cada centro o profesor revisar, corregir y superar. Suena lógico. La pregunta es: ¿por qué no se hace?

Generalmente el Ministerio hace una entrega formal, un reporte global por institución —bastante global— y el reporte al estudiante. Pero esto no ayuda mucho. Lo que realmente produciría un cambio es decirle al docente “El ítem 53 de Física, que trataba el tema de óptica, no lo contestó el 90% de sus estudiantes. ¿Qué piensa hacer para el próximo año?”. Seguramente tendríamos un cambio, o ese docente debería dejar de enseñar.



6. Hay que revisar el diseño de reactivos

Un aspecto técnico importante es la calidad de los reactivos y de la prueba, sobre todo en lo que respecta a las “fuentes”. Más allá de la validez y confiabilidad global, se deben tomar en cuenta otros detalles. Es válido hacer un señalamiento técnico a los arquitectos actuales de la prueba.

En los últimos años, al examinar los cuadernillos, resaltan dos aspectos: una fuerte carga ideológica en el diseño de reactivos en el área de Estudios Sociales (habría que revisar las fuentes de estos ítems, y consultar si todos los estudiantes tienen acceso a estas fuentes de información o a los libros de texto de donde provienen); y, segundo, en general hay muchos reactivos con debilidad en su redacción, lo cual dificulta a los estudiantes la comprensión y por tanto obtener buenos resultados. Será importante aplicar una calibración y validación de muchos de los ítems que están en el banco.

7. El Salvador tiene dos tipos de ciudadanos

En la historia de la PAES un grupo selecto de colegios privados ha encabezado siempre los rankings de desempeño, con promedios nacionales bastante altos. Salvo raras excepciones de Institutos Nacionales, los diez primeros lugares son cada año obtenidos por colegios confesionales y/o de gran trayectoria académica. ¿No debería el MINED observar qué sucede en estas instituciones?, ¿quiénes son sus docentes?, ¿cómo planifican? o ¿qué recursos tienen?

No hace falta ir a Finlandia para obtener respuestas. La solución está muy pero muy cerca del MINED. La PAES revela que en nuestro sistema se forman dos tipos de ciudadanos: los que tendrán oportunidades de becas o podrán estudiar la carrera que quieran (menos del 10%) y el resto, que tendrá todo cuesta arriba en lo que a oportunidades se refiere. En efecto, la tasa de educación terciaria es muy baja y la eficiencia terminal universitaria es del 11%, escandalosa. Y esto coincide con el drama del proceso de admisión a la Universidad de El Salvador (UES): solo el 13% de los 23,000 aplicantes ingresa a la universidad pública.

Epílogo: Los estudiantes conocen, pero no comprenden ni pueden aplicar

Lo que la PAES y otras evaluaciones estandarizadas internacionales nos dice es que el estudiante salvadoreño promedio “conoce, pero no comprende ni puede aplicar lo que sabe”. Esta indefectible sentencia se enraiza en varias causas: la principal es que tenemos un modelo pedagógico muy teórico, de mucha pizarra y poco laboratorio, de mucho libro y poca realidad en el aula.

Elizabeth Imende, profesora de Harvard, concluyó luego de una visita a El Salvador: “Las escuelas y colegios en El Salvador son como un equipo de fútbol que entrena, entrena y entrena, pero nunca juega el partido.” Efectivamente, necesitamos relevancia, pertinencia y realismo. Dar oportunidad a las inteligencias múltiples de nuestros jóvenes para que desarrollen su destino. No debemos olvidar que menos del 40% de la población escolar es la que llega a la PAES —hay dramas previos— y de este porcentaje menos de la mitad ingresa a la universidad. Y en este espacio superior la tasa de eficiencia apenas alcanza el 11%.

La PAES fue, es un termómetro educativo que registra desde hace 20 años un cuadro febril, pero nunca tomamos el antibiótico y la infección sigue ahí, latente. ¿Hasta cuándo? Esa la pregunta.



*Óscar Picardo Joao es investigador y especialista en política educativa. Licenciado en Filosofía, con maestrías en Teología y Educación y Doctorado en Didáctica y Organización Escolar; en la actualidad dirige el Instituto de Ciencia, Tecnología e Innovación de la Universidad Francisco Gavidia.
Coordinación y textos
Óscar Luna
Guion y videos
Carla Ascencio
Fotografía
Víctor Peña y Fred Ramos
Edición
Ricardo Vaquerano y José Luis Sanz
Diseño e Infografías
Andrea Burgos
Desarrollo
Daniel Reyes