|
LA EVALUACION
DE LA EDUCACION PRIMARIA
INDICE DEL
TEMA
3. UNA NOTA SOBRE LA FORMACION Y EVALUACION DEL PROFESORADO APENDICE I: SINOPSIS DE LAS PRUEBAS DE RENDIMIENTO 1. Instrumentos de evaluación. 2. Génesis de las pruebas de rendimiento: 2.1.
Sexto de EGB:
2.2.
Primer Ciclo de Primaria:
2.3 Resumen de las matrices: génesis de las pruebas de rendimiento. 3.- Síntesis de: Actividades, procesos o funciones de las pruebas de rendimiento: 3.1.
Sexto de EGB:
3.2. Primer Ciclo de Primaria: 4.- Análisis de los resultados de las pruebas de rendimiento: 4.1.
Sexto de EGB:
4.2.
Primer Ciclo de Primaria:
5.- Análisis de los resultados de los cuestionarios de opinión. 5.1.
Sexto de EGB:
5.2.
Primer Ciclo de Primaria:
APENDICE II: FE DE ERRATAS NO INCLUIDAS EN EL INFORME DEL INCE 1 Erratas
en las palabras
email: marodgar@telefonica.net |
ALGUNAS CONSIDERACIONES
SOBRE EL DOCUMENTO DEL INCE.
El Instituto Nacional de Calidad y Evaluación, INCE, Organismo dependiente del Ministerio de Educación y Cultura ha publicado en Mayo de 1.997 el documento "Evaluación de la Educación Primaria" que amablemente me remitió su director, como respuesta a unos artículos míos sobre la calidad de la enseñanza y el INCE, que en su día le envié. El documento informa sobre los resultados de la evaluación a sendas muestras de alumnos del sexto curso de Educación General Básica y al Primer Ciclo de Educación Primaria. Analiza además los centros, cuyos alumnos eran objeto de "la evaluación proyectada que se ha realizado a través de los colectivos que tienen una implicación más directa en el proceso educativo: alumnos, profesores, equipos directivos y familias (.....). El trabajo de campo del estudio se realizó en el curso 1.994-95" (página 9). Con este informe (en adelante "documento" e "informe" es usado indistintamente para referirme al contenido de "Evaluación de la Educación Primaria") el INCE cumple el mandato recogido en el proyecto de actividades para el período 1994-97 en dos de las direcciones marcadas: "la evaluación de los resultados de la educación y evaluación del proceso de implantación del nuevo sistema educativo". Por tanto es un trabajo que todo profesional de la educación debe leer y analizar y así lo he hecho, no con la profundidad que la importancia del estudio requería, pero sí con el interés suficiente para brindarle al Sr. Director, en justa reciprocidad, unos comentarios que me tomo la libertad de someter a su consideración. Me propongo, pues, analizar el documento con el propósito de obtener información aplicable al quehacer profesoral; emitir un juicio sobre su contenido, los resultados, su tratamiento y análisis así como, ofrecer algunas perspectivas no recogidas en él. Para ello, el presente trabajo se compone de las siguientes secciones. La siguiente sección y con el fin de agilizar el análisis, recoge las conclusiones generales que ha suscitado la lectura del informe. Un estudio más pormenorizado sobre las características del diseño de las pruebas se incluye en el Apéndice I. En la sección 3, incluyo una nota sobre la formación del profesorado y sobre su evaluación. Con ella pretendo proyectar sobre el contenido del documento mi experiencia docente, lo que creo puede ser de interés al lector. Finalmente, la sección 4 recoge las conclusiones del trabajo así como unas sugerencias que a mi parecer, pueden ser de utilidad en futuros informes de este tipo. Completo el análisis con una "fe de erratas", que debe ser añadida a la editada por el INCE y que recojo en el Apéndice II. Advertencia:
Las cursivas que aparecen a lo largo de este estudio no figuran
en el informe; signo las frases así para las citas del original
o resaltar la información; son de mi exclusiva responsabilidad.
La evaluación se sustenta en los datos tomados de los colectivos de alumnos, profesores, equipos directivos y familias, con el siguiente procedimiento: * "Pruebas de rendimiento" a una muestra de más de 10.500 alumnos de 6º de EGB en las áreas de Lengua, Matemáticas, Ciencias Sociales y Ciencias de la Naturaleza * "Pruebas de rendimiento" a una muestra de cerca de 9.000 alumnos del Primer Ciclo de Enseñanza primaria en las áreas de Lengua y Matemáticas * "Cuestionarios de opinión" a los colectivos antes indicados Los procesos de elaboración de tales pruebas y cuestionarios han sido desarrollados en cada una de las áreas antes mencionadas. El Anexo del documento denominado "Metodología de Estudio" completa la información con los criterios seguidos para "la construcción de los instrumentos de medida". Es de suponer que tales instrumentos se han elaborado de acuerdo con teorías relevantes para tal fin; sin embargo el lector no especialista en el diseño y validación de pruebas encuentra en la descripción de los procesos para su configuración, diferencias que pueden producir cierta perplejidad. He de confesar que al recibir "Evaluación de la Educación Primaria" inicié su lectura ilusionado. La introducción la enfrió ligeramente. No induce al optimismo leer afirmaciones como las siguientes: "No estamos ante una evaluación criterial en la que aciertos y errores tienen un valor absoluto. Por el contrario, el método de elaboración de las preguntas, y su correspondiente experimentación mediante pruebas piloto incorporan elementos de análisis bien complejos. De hecho, la única virtualidad rigurosa de tales porcentajes radica en su comparación con futuras aplicaciones de las mismas pruebas, lo que no es poco si se considera que uno de los objetivos de la evaluación realizada es precisamente poder valorar, en su día, los resultados del sexto curso de la nueva educación primaria." "Se ha evitado, con toda intención, hacer afirmaciones categóricas. El tono del informe puede así parecer demasiado frío al lector impaciente, pero tal es, en definitiva, el estilo de esta clase de informes." Sin embargo, este atisbo de decepción no debe frenar el análisis. Como se ha descrito, la evaluación se basa en las "pruebas de rendimiento" hechas a sendas muestras de alumnos que cursan 6º de EGB y Primer Ciclo de Primaria. La finalidad de la evaluación emprendida por el INCE es averiguar el alcance de los aprendizajes adquiridos. Incluye además, los "cuestionarios de opinión" que han de ser contestados por esos mismos alumnos, sus profesores, familias y centros a los que pertenecen, que informan sobre sus apreciaciones acerca de otras "variables del proceso". Las respuestas a las "pruebas de rendimiento" son los únicos datos objetivos para la evaluación. Las respuestas a los "cuestionarios de opinión" son todas ellas, datos subjetivos. Lo primero que se advierte en la lectura del informe (ver su introducción), es el aviso de que no esperemos demasiado de él; este hecho se confirma más tarde con la ausencia de conclusiones al comentar los resultados de la "prueba de rendimiento" y que se intenta justificar con explicaciones de difícil apoyo. En cambio, los "cuestionarios de opinión", que manejan variables subjetivas, sí merecen ser relacionadas con los resultados de la "prueba de rendimiento", proponiendo las consiguientes conclusiones. Inquieta sobremanera observar cómo, dispersiones en los resultados, que pudiéramos llamar alarmantes, no merezcan el más leve comentario en el informe o un análisis de las potenciales causas. Este puede ser el caso, entre muchos otros, del área de Lengua de 6º donde la diferencia en el porcentaje de aciertos fluctúa entre "Distinguir el significado de una expresión por su contexto" (31%) e "Identificar el objetivo global de un proceso instrumental" (87%). Por el contrario, las respuestas de los "cuestionarios de opinión" son objeto de comentarios individualizados para cada una de las cuestiones de la encuesta. Parece sospechoso lo proclive del informe a comentar los datos subjetivos y excusar la interpretación de los datos objetivos. Las "pruebas de rendimiento", velis nolis, miden conocimientos, siéndoles de aplicación los principios de la medida. El primero es el de causalidad: si hay conocimiento hay respuestas y si las respuestas son acertadas, los conocimientos se han adquirido bien. El segundo es el de proporcionalidad: los conocimientos son directamente proporcionales al número de respuestas acertadas; esto es, a más respuestas acertadas más conocimientos. En este tipo de estudios hay que tener en cuenta también, si se aplican métodos estadísticos, la aleatoriedad de los procesos y la ley de los grandes números. No se puede olvidar que la evaluación se hace a una muestra de más de 10.500 alumnos de 6º de EGB que han de responder a 145 preguntas distribuidas en cuatro áreas, (he supuesto que los mismos alumnos intervienen en las cuatro áreas), y a otra muestra de cerca de 9.000 alumnos del Primer Ciclo de Primaria que han de responder a 101 pregunta distribuidas en dos áreas, (sigo suponiendo que todos los alumnos intervienen en ambas áreas), con preguntas de carácter cerrado que facilita el tratamiento estadístico. El tamaño de la muestra es tal, que debe ofrecer conclusiones de aplicación a los colectivos evaluados e inferirlas con bastante aproximación a la población de alumnos españoles de 6º de EGB y Primer Ciclo de Primaria, si y sólo sí, las pruebas están bien diseñadas. El análisis de los datos de la "prueba de rendimiento", debe ofrecer más información que los porcentajes de aciertos, errores y NC. La posible comparación, remitida "a un segundo nivel de análisis" en el futuro, guarda relación, según reza el documento (página 10), con cruces de respuestas de los "cuestionarios de opinión" y no analizar las "pruebas de rendimiento". Las explicaciones que el informe ofrece sobre la imposibilidad de interpretar, medir, comparar e inferir los resultados de la "prueba de rendimiento" guardan relación estrecha con su diseño y el tiempo otorgado a los alumnos para responder; esto hace sospechar que la prueba ha sido ineficaz e ineficiente, por utilizar el redundante concepto que maneja el legislador. Por el contrario, las respuestas a los "cuestionarios de opinión" de alumnos y profesores, que manejan variables subjetivas, se relacionan con los resultados de la "prueba de rendimiento", llegando nuevamente a conclusiones tan obvias, como ésta: "… a los alumnos que les gusta una asignatura tienen mejor rendimiento en la prueba" y otras semejantes (ver apartados 4-1 a4-1-4). Impacta en el lector que al informador no le sugiera nada que, por ejemplo, los alumnos por término medio no respondan al 50% de las preguntas de la prueba de Matemáticas; ni tampoco que redondear un número a la centésima más próxima tan sólo tenga un 11% de aciertos. En cambio sí es de sumo interés, que " Los alumnos con espíritu de perseverar en la resolución del problema tienen mejor rendimiento en la prueba que los que creen que es inútil seguir intentándolo si el ejercicio o el problema no sale nada más verlo". Todas las afirmaciones que a modo de conclusiones nos brinda el documento son del dominio de cualquier profesor, como también saben los profesores que sus alumnos obtienen mejores resultados en preguntas de carácter descriptivo o explícito, o cuestiones de aplicación inmediata que en aquellas otras que requieren procesos más complejos, tales como resolución de problemas, deducciones o inferencias. Por ello, para obtener tales porcentajes, bastaba la consulta al profesorado. Me he preguntado por la causa de que no haya conclusiones en las "pruebas de rendimiento" y sí abundantes, aunque obvias, en los "cuestionarios de opinión". Aventuro una respuesta. Las preguntas planteadas en ambos casos son de carácter cerrado; entre las opciones que se ofrecen, elige el examinando. La elección de la respuesta no es igual de trascendente en uno y otro caso; en las "pruebas de rendimiento" se puede no contestar, errar o acertar; en "los cuestionarios de opinión" ni se acierta ni se yerra: se elige y tal elección tiene valor relativo y testimonial. Sólo si los resultados de los "cuestionarios de opinión" se comparan con los resultados de la "prueba de rendimiento", en términos de aciertos y/o errores puede ser tomado como indicador educativo. La comparación de los dos conjuntos de respuestas propicia que el informador explique los resultados de las pruebas y, al apoyarse en las elecciones subjetivas de los cuestionarios, obtenga las conclusiones tan evidentes y tan obvias ya apuntadas. Hurtar al lector un análisis de los resultados con excusas que atentan contra la razón, además de carecer de rigor roza los bordes del fraude. Se observa
una dispersión y falta de homologación importante en el planteamiento
de las pruebas. Para probar este punto he extraido de las matrices del
documento que presentan los resultados de cada pregunta, los verbos que
expresan la acción requerida al alumno. En el caso de que tal acción
no quede bien definida en la referida matriz para alguna pregunta, he asimilado
un verbo que la descripción de la pregunta sugiere. La matriz que
sigue es el resumen de las actividades exigidas en las distintas preguntas
de cada área. Se incluye el número de veces que aparece en
cada uno de los bloques de contenidos en que se descompone la prueba.
Un análisis más detallado aparece en el Apéndice
I.
En el mundo educativo es frecuente que las técnicas de evaluación malogren los resultados; eso creo ocurre con el informe. La dispersión y la falta de homologación que se observa en el planteamiento de las pruebas muestra, además de una gestación múltiple con una aparente coordinación y una intencionalidad descriptiva más que analítica, una búsqueda de aciertos y errores más que sus causas; de ahí los resultados. Se ha encontrado lo que se buscaba. La simple observación del cuadro anterior así como las matrices descritas en el Apéndice I, resalta la gran dispersión en la denominación de las actividades de los alumnos. También ponen de relieve la falta de criterios homologadores; al utilizar palabras distintas para una misma actividad, aumenta la dispersión y dificulta su tratamiento. Una mirada a los datos del informe en la EGB, después de las obligadas asimilaciones verbales hechas por mí y sintetizados en tales matrices, permite afirmar que no existe ni una sola actividad que haya sido evaluada en todas las áreas de la EGB y sólo, asimilando a "identificar" sus equivalentes, esa actividad estaría presente en todas las áreas y todos sus bloques de contenidos, pero distribuidos irregularmente. Por otra parte, en la mayoría de los casos, el número de opciones por cada bloque de contenidos y en cada actividad, cuando existe, es tan reducida que impide comparaciones que aporten conclusiones relevantes; así se explica los avisos de la introducción del documento, apelando a que el lector no espere demasiado del mismo. Los datos que el informe ofrece de la Primaria no permiten ni tan siquiera enunciar actividad alguna. Será por eso por lo que manifiesta: "… en la evaluación del Primer Ciclo de Educación Primaria, (....) el interés se centra en los procesos vinculados a la implantación del ciclo y queda en un segundo plano la descripción de los resultados obtenidos por el alumnado en las pruebas de las dos áreas estudiadas: Lengua y Matemáticas". Esta afirmación quiere justificar, al parecer, la pobreza de la interpretación de los resultados por cuanto el informe se limita a expresar en porcentajes los aciertos y errores de la "prueba de rendimiento". Algo similar ocurre en la EGB, con la variante de que los datos de ésta se expresan en matrices generales particularizando las distintas opciones de la prueba y en la Primaria no se particulariza, ofreciendo los porcentajes más englobados en dos formas: matricial y gráfica. Sobre el resultado global de la "prueba de rendimiento" de Lengua en Primaria, el informe dice: "Se puede concluir que los resultados son bastante satisfactorios, y evidencian unos niveles de logro muy razonables". Sin embargo ya se acusan fuertes diferencias entre la "comprensión de textos orales" (87,5% de aciertos) y el "análisis y reflexión sobre la propia lengua" (59,7% de aciertos) lo que sugiere la idea de que las diferencias reseñadas en los resultados de la prueba de Lengua en 6º de EGB "Identificar el objetivo global de un proceso instrumental" (87% de aciertos) y "distinguir el significado de una expresión por su contexto" (31% de aciertos) no son aleatorias, sino que se originan en los albores de la escolarización. Algo semejante ocurre con las Matemáticas de ese mismo nivel. La lectura de esta parte del informe nos remite nuevamente a comentarios anteriores; esto es, a destacar lo obvio. Si el porcentaje medio de aciertos en la "prueba de rendimiento" en Lengua ha sido del 71,26 % y el de Matemáticas del 61,2%, se escribe que "el resultado [en el área de Matemáticas] es algo más bajo que el obtenido en el área de Lengua". La interpretación de tal diferencia navega entre indefinidos y probabilidades para remitirnos finalmente a "próximos estudios" y llegar a esta conclusión tan profunda: "Ello indica que, si bien los resultados son en general aceptables, una parte significativa de los alumnos pueden y deben mejorar su rendimiento en este Area". Los "Resultados por bloques curriculares" discurren, como no podía ser menos, en describir verbalmente los resultados porcentuales de la matriz y del gráfico, y destaca nuevamente lo obvio como: "El bloque de peores resultados es el de Organización de la información, cuya dificultad queda claramente reflejada en su porcentaje de 48,1% de aciertos, si bien solamente incluía tres preguntas". Implícitamente, esta obvia afirmación evidencia la ineficiencia e ineficacia del diseño de la prueba. Como comentario final de las áreas de Lengua y Matemáticas de la Primaria diré como en el de la EGB, que se dedican más páginas a los datos subjetivos (opiniones) que a los datos objetivos (resultados de las pruebas). Si las pruebas, en los dos niveles evaluados, se hubieran homologado para todas las áreas en términos de funciones cognitivas tales como: conceptuar, analizar, identificar, distinguir, etc., con un número suficiente de items por área y función, que garantice su significatividad, se habrían ofrecido, en vez de justificaciones por la imposibilidad de aportar conclusiones, los perfiles cognitivos de las poblaciones evaluadas, además de otros beneficios que sería prolijo enumerar. El diseño de las pruebas impide presentar las distintas opciones en forma matricial para cotejarlas entre sí. Su falta de homologación constituye, además, el principal obstáculo para comparar los resultados, de ahí las excusas del documento a las que reiteradamente me he referido. Homologar es un verbo que no se conjuga en el estudio que analizamos. No se olvide: la homologación es requisito indispensable en el control de calidad. ¿Qué criterios se seguirán para el análisis de los resultados cuando se hagan las "pruebas de rendimiento" anunciadas para el 6º de primaria? ¿Será el "discriminador" seguido en el 6º de EGB para poder comparar resultados entre los dos sextos, uno de los objetivos del estudio? ¿Será el "globalizador", seguido en el 1º ciclo de Primaria para mantener el mismo criterio evaluador cuando estos alumnos alcancen el 6º? En el primer caso, hacer un estudio comparativo con los resultados obtenidos en el Primer Ciclo de Primaria, parece poco probable; se perderá así una potencial información sobre la evolución cognitiva de tales alumnos. En el segundo caso, la comparación entre los sextos no parece posible, al haberse redactado las pruebas con criterios distintos ¿Qué información se obtendrá de la evolución cognitiva de los alumnos con los resultados obtenidos sin la posibilidad de que sean relacionados? Es curioso; tanto "episteme" y sus derivados, proclamados y repartidos con cargante saciedad en los documentos de la reforma, para que luego el INCE, en un documento evaluativo producido íntegramente por él, ignore toda interpretación científica de los resultados objetivos y se acomode en el mundo de la opinión sobre datos subjetivos. La "dóxa" triunfa sobre el "episteme". Dicho de otra manera: cuando falla la expectativa, cuando no pasa lo que se esperaba, o no se sabe qué hacer con los datos, o estos son insuficientes o se han obtenido asistemáticamente, nos contentamos con el "parece que" o rompemos por la simple opinión o conjetura que desemboca en proposiciones generales que por lo obvio de su contenido no puedan ser discutidas. Un comentario muy especial merece la reiterada afirmación: "… existen diferencias altamente significativas a un nivel del uno por mil; es decir, a mayor valoración del profesor se corresponde mayor puntuación del alumno [en el bloque correspondiente]. Ello quiere decir que los resultados obtenidos por los alumnos en las pruebas construidas para hacer esta evaluación, concuerdan con la opinión que los profesores poseen de su rendimiento, reforzando así la validez de los instrumentos utilizados". Se observa que el informe, repetidamente, pretende sustentar la validez de la prueba no en función del análisis de los aciertos y errores de las "pruebas de rendimiento", de la que no se ocupa, sino en la opinión evaluadora que los profesores del Primer Ciclo de Primaria expresan de sus alumnos. A mi parecer, tal forma de ofrecer las conclusiones presenta, un cierto tinte tendencioso y erróneo. Es tendencioso porque atribuye bondad a una prueba basándose en opiniones de un colectivo externo, cuando fue incapaz de interpretar los resultados objetivos (ver páginas 10, 14 y siguientes). Es erróneo por varias razones. En primer lugar, porque tergiversa la conclusión que debía incidir, tan redundantemente como se pretende a sí mismo justificar, en lo bien que evalúan los profesores por lo acertado de sus calificaciones, que la prueba ha corroborado. En segundo lugar porque niega el reconocimiento debido al profesorado, por lo bien que conocen a sus alumnos como resalta la coincidencia de sus opiniones con los resultados. Por último, porque escatima elogios al buen hacer profesoral, tan entredicho siempre, por haberse cumplido sus pronósticos. Por todo lo
expuesto anteriormente me permito las siguientes consideraciones:
1) Los resultados obtenidos por los alumnos evaluados en el Primer Ciclo de Primaria validan los pronósticos que sobre ellos hicieron sus profesores. Ello resalta de modo significativo lo bien que conocen a sus alumnos y evidencia, por tanto, un alto nivel de responsabilidad, dedicación y amor a su profesión. En consecuencia, podría haberse sustituido el estudio en el primer ciclo de primaria por una encuesta de opinión a los profesores sobre el futuro de sus alumnos dada su percepción casi de rigor objetivo, como ha quedado probado. 2) Existen diferencias sensibles, diez puntos porcentuales, entre los resultados de la prueba de Matemáticas y la de Lengua, sin que el informe intente un análisis de sus causas. 3) Existen diferencias sensibles entre las cuestiones que pudiéramos llamar descriptivas y aquellas que exigen algún tipo de razonamiento, recurrencia, secuenciación, etc., sin que el informe se pronuncie sobre ello. 4) Las diferencias antes aludidas se incrementan en los años siguientes de escolarización. Este estudio no contempla el análisis de los "cuestionarios de opinión" de otros colectivos distintos de los alumnos; tal empresa desbordaría mis propósitos. Sin embargo, la lectura de esa parte del documento a la luz de lo expuesto anteriormente, resalta la cantidad de páginas que consume el informe en comparar la opinión que tienen los profesores sobre un conjunto de variables tales como didáctica, programación de la materia, preparación de clases, actividades al iniciar un tema nuevo, práctica docente, técnicas e instrumento de evaluación o satisfacción con el área impartida. Como la muestra de profesores encuestados no es representativa del profesorado, tal comparación se hace con el porcentaje de alumnos y sus resultados, cuyos profesores tienen tal opinión. Tan tortuoso procedimiento, aplicado a todas las áreas del 6º de EGB, es un gran invento ya que, por muchas que sean las cuestiones que se planteen de carácter cerrado con opciones tales como: sí, no; desacuerdo, indeciso, de acuerdo; nunca, frecuentemente, muy o bastante frecuentemente, etc., siempre se le podrán adscribir, porcentajes de alumnos, cuyos resultados coincidan con una determinada opinión de los profesores. Así incrementando el número de cuestiones podremos engrosar considerablemente el documento. El tratamiento de los datos que el ordenador brinda; la exposición de los resultados en forma matricial; las descripciones asépticas "sin afirmaciones categóricas", encuadernado todo ello con colores llamativos, se ofrece como "evaluación de los resultados de la educación". El poder cabalístico de los números y la supuesta renuencia de los lectores a penetrar en ellos, hará el resto. Por último,
por razones antes aludidas nada diré de los procesos vinculados
a la implantación del ciclo. Sólo quisiera reseñar
la decepción, la frustración y el desaliento que produce
el escaso apoyo que los profesores dicen tener en su práctica docente
de la inspección educativa. Si es así y parece que lo es,
¿Qué hace la inspección? Esa opinión mayoritaria
(el 74% de los profesores encuestados dicen que han recibido "nada o muy
poco apoyo de la inspección educativa") descalifica a los inspectores.
Se impone como exigencia inaplazable, un estudio en profundidad de
la eficacia y eficiencia de la acción inspectora. El informe pretende
suavizar la rudeza de los datos diciendo que "los profesores del primer
ciclo (....) en su práctica docente (....) de la inspección
educativa perciben un grado de apoyo menor". No sé el porqué.
3.- UNA NOTA SOBRE LA FORMACION Y EVALUACION DEL PROFESORADO En esta sección quisiera hacer unos comentarios sobre la preocupación del profesorado por su formación y evaluación. Los datos del informe del INCE acreditan que estas cuestiones las resuelve bien y que sus preocupaciones por estos asuntos no son nuevas. Sin remontarse demasiado en el tiempo, la LGE del 70 creó los ICEs con ese propósito y es de suponer que el INCE habrá tenido en cuenta el trabajo que sobre formación del profesorado y evaluación han llevado a cabo los ICEs de las Universidades españolas. A título de ejemplo mencionaré al de la Universidad Politécnica de Madrid que tantos y tan buenos cursos ha impartido en toda la geografía española, en presencia y a distancia, al tiempo que elaboraba instrumentos propios de evaluación de alumnos, profesores, centros y funciones directivas. No tener en cuenta el trabajo hecho, sería un despilfarro de lesa educación. Todo profesor que se precie, y deben ser mayoría los que así actúen, no evalúa sólo a los alumnos sino que desea, además, ser evaluado. Con cierta periodicidad se habrá sometido a "encuestas de opinión" por sus alumnos; bien es cierto que serán encuestas domésticas, para uso propio, que no se habrán ajustado a los "criterios del IEA" ni a otros criterios técnicos, ni aplicados índices ni métodos ad hoc, ni TCT ni TRI o similares para este tipo de pruebas; tampoco serán merecedoras de su publicación, pero es seguro su valor y auxilio para el profesor que las diseñó y desarrolló. Soy un modesto profesor de FP, recientemente jubilado y por tanto nada paradigmático. Durante mi etapa docente me he sometido periódicamente al juicio de mis alumnos, de forma anónima para garantizar así la mayor fiabilidad. Me consta que otros compañeros también han utilizado este tipo de instrumentos. Como somos profesores corrientes hemos de inferir que habrá otros muchos que hayan hecho lo mismo. Desde esa perspectiva he emitido mi opinión recogida en mis comentarios al informe. Desde 1.975,
durante varios años seguidos al principio y, cada cinco o seis años
después, pasaba una encuesta a mis alumnos. El propósito
que me animaba era recibir, de primera mano, información sobre sus
deseos, impresiones, dificultades y sugerencias. El análisis de
los resultados posibilitaba un estudio conjunto del que deducir pautas
de conducta satisfactoria para todos, sin menoscabo de los objetivos generales
a cumplir. Me fue de gran ayuda. En aquellos años se desvanecía
la Oficialía y Maestría Industrial y se introdujo en solape
la Reforma de Villar Palasí. Antes de ser totalmente implantada
esa Reforma de la LGE del 70 empezó a gestarse otra Reforma que
desembocó en la LOGSE, actualmente en vigor. Las situaciones de
cambio producen convulsiones en el sistema educativo; los profesores tienen
que adaptar sus esquemas mentales a los cambios que le vienen impuestos,
sin haber participado en el proceso que genera la nueva situación,
todo ello sin perjuicio para sus alumnos ni su propia salud mental. Es
por eso por lo que el profesor precisa disponer de instrumentos sólidos
que avalen su conducta profesoral y respalden las decisiones que tome,
cualquiera que sea la situación donde desarrolle su trabajo.
4.- CONCLUSIONES Y SUGERENCIAS Para terminar, quisiera resumir mi estudio en las siguientes conclusiones y sugerencias: 1) El alumno debe ser objeto fundamental de todo sistema educativo. Sus aprendizajes, considerados en sentido amplio, condicionan su futuro y el de la sociedad a la que pertenece. Desde esa óptica, el informe decepciona. Limitarse a la exposición de porcentajes de aciertos y errores de las respuestas a unas preguntas, sin el análisis subsiguiente, defrauda las expectativas que un estudio de esa importancia genera. 2) Consecuente con lo anterior, el informe quiere aparentar un rigor del que carece, de comparación imposible con los futuros alumnos de 6º de primaria y con la evolución que hayan experimentado los alumnos de primer ciclo cuando lleguen a 6º de primaria. 3) ¿Qué puede extraer un profesor que se acerque al informe que no conozca? 4) Ignoro el coste de la evaluación, no sólo de las partidas del presupuesto que hemos de soportar todos los españoles, sino también, la cantidad de recursos humanos y materiales puestos en juego para llegar finalmente a su edición. Por la descripción del proceso seguido en la evaluación se intuye la importancia de los recursos movilizados para un rendimiento tan magro. 5) A la vista
de lo que antecede, y como sugerencia, parece razonable una revisión
detenida de
- la estructura anterior, con el propósito de adaptarla a otra homologada que ofrezca la posibilidad de comparación entre las cuestiones de la misma o distintas áreas. - los resultados a la luz de la nueva estructura que ofrezca una información analítica del rendimiento de los alumnos y su potencial utilización en evaluaciones posteriores. 6) Sentir,
sinceramente, no haberles podido felicitar por su trabajo.
Málaga, Noviembre de 1.997 Fdo: Manuel
A. Rodríguez García
APENDICE
I: SINOPSIS DE LAS PRUEBAS DE RENDIMIENTO
1.- INSTRUMENTOS DE LA EVALUACION La evaluación se sustenta en los datos tomados, mediante “Pruebas de rendimiento”, a los colectivos de alumnos de 6º de EGB en las áreas de Lengua, Matemáticas, Ciencias Sociales y Ciencias de la Naturaleza y a los alumnos del Primer Ciclo de Enseñanza primaria en las áreas de Lengua y Matemáticas; “Cuestionarios de opinión”, a los referidos alumnos, sus profesores, equipos directivos de los centros y familias. El documento "Evaluación de la educación primaria" desarrolla ampliamente el proceso seguido para la elaboración de los instrumentos de evaluación en los cursos y áreas objeto del informe. Con el propósito de facilitar su análisis, resumo su contenido en forma de matriz, para lo cual sigo el orden establecido por el documento. La primera columna de la matriz recoge, por epígrafes comunes, las secuencias de gestación de las pruebas; la denominación de tales epígrafes la brinda el propio documento. En la segunda columna se insertan las ideas genéricas y actividades desarrolladas por los investigadores para la consecución de sus objetivos: obtener las respuestas para su análisis posterior y oferta a la sociedad. El propio informe
sugiere esta forma de presentación, que espero facilite la comparación
entre las secuencias del proceso de las distintas áreas, de la que
se derive algunas consideraciones que ofrecer. Para el desarrollo de lo
que antecede, he clasificado las matrices que sintetizan el proceso de
gestación de las pruebas de la siguiente manera.
Todas las matrices están divididas en los epígrafes sigientes - Instrumentos
previos
2.-
GENESIS DE LAS PRUEBAS DE RENDIMIENTO.
2-1 Sexto de EGB.
4
Area de Ciencias de la Naturaleza
2-2 Primer Ciclo de Educación Primaria:
Sin emitir un juicio apriorístico, esta forma de presentar las secuencias de elaboración de “la prueba de rendimiento” nos informa de inmediato que, la descripción de la génesis de las pruebas de EGB, difiere de la seguida en el Primer Ciclo de Primaria. Esta diferencia descriptiva pudiera ser un reflejo de concepciones diferentes de la prueba, lo que restaría potencial evaluador. Si se comparan entre sí las secuencias de las áreas evaluadas, tanto en 6º de Básica como en Primaria, también se observan distingos en las descripciones de la misma secuencia en las diferentes áreas, sembrando así la duda de que pudieran existir diferencias en su concepción. En efecto, si se agrupan por secuencias lo que se ha transcrito por áreas, se pondrán de relieve los matices productores de la preplejidad antes señalada. El resultado de tal agrupamiento lo expongo a continuación. 2-3
Resumen
de las matrices génesis de las pruebas de rendimiento:
3.- SINTESIS DE ACTIVIDADES, PROCESOS O FUNCIONES DE LAS PRUEBAS DE RENDIMIENTO Las analogías y diferencias entre las distintas formas de presentar la gestación de las pruebas en todas las áreas, las he considerado en el epígrafe anterior. A continuación expongo las cuestiones u opciones que constituyen “la prueba de rendimiento” de las áreas que se evalúan; esto es las preguntas concretas que se hacen a los alumnos evaluados. La adquisición, transmisión y exposición de conocimientos, las manifiesta el ser humano mediante actividades aprendidas y perfeccionadas con el uso, tales como: Leer, escribir, hablar, oír, etc, que originan procesos psíquicos tales como analizar, discriminar, inferir, etc., todas ellas se expresan con verbos de acción transitivos. En términos generales tales verbos guardan relación con alguna función cognitiva; por tanto, se puede relacionar la respuesta, cuya actividad exige la pregunta, con el alcance del aprendizaje adquirido que la pregunta sugiere. Si el proceso evaluativo es adecuado, puede incluso informar del grado de significación de tal aprendizaje. Desde esa óptica voy a examinar “las pruebas de rendimiento”. Los verbos que expresan la acción requerida al alumno ante la pregunta, los extraigo de las matrices del documento que presentan los resultados de las distintas preguntas u opciones. En el caso de que tal acción no quede bien definida en la referida matriz para alguna pregunta, la he asimilado al verbo que la descripción de la pregunta sugiere. La matriz que sigue es el resumen de las actividades exigidas en las distintas preguntas de cada área con expresión del número de veces que aparece en cada uno de los bloques de contenidos en que se descompone la prueba. De esta forma se facilita la comparación entre las pruebas de las distintas áreas. He omitido el texto de las preguntas por considerarlo innecesario. Para una información más completa sobre el texto de las preguntas ver el informe. Así pues, este apartado se desarrolla, con el mismo esquema seguido en la exposición del apartado anterior. Actividades
básicas : Leer y escribir
NOTA: ¿Qué diferencia existe entre identificar, reconocer y descifrar? Actividades
básicas : leer y escribir
NOTAS: Las dos
cuestiones del “bloque de contenido: Organización de la información”
las integran al bloque “ Números y operaciones” con la excusa :
“ podían ser fácilmente asimiladas a ese bloque y al ser
sólo dos, su estudio por separado hacía poco significativas
las conclusiones sobre el bloque original.. ¿Esto quiere decir que
la “Organización de la Información” es irrelevante?.
En la matriz
que sigue destaco algunas cuestiones u opciones de la prueba de Matemáticas
que parece ilustrativa para nuestro análisis; para ello, como en
las matrices anteriores, asimilo a los verbos que se relacionan,
las actividades que se desprenden de la pregunta. Observese que he elegido
un infinitivo preexistente y afín con la pregunta para
evitar dispersiones. Bajo el epígrafe “Opción” aparece el
número con el que se identifica en la prueba la cuestión
y bajo “Texto”, se transcribe el que figura en el documento.
Actividades
básicas : leer y escribir
NOTAS: (*) ¿Qué diferencia existe entre localizar, identificar, reconocer y situar? Relacionar ¿Es sinónimo de comparar o hacer una relación? Conocer es el producto o resultado de los procesos de aprendizaje, no es una actividad; ¿Es procedente su inclusión como aparente refuerzo a la pregunta? ¿Identificar o reconocer no exige el conocer?.Comprender es un conocer más profundo ¿Es adecuada tal expresión en el planteamiento de la prueba? En la matriz
que sigue destaco una opcion de la prueba de Ciencias Sociales que,
como en la de Matemáticas, parece ilustrativa para nuestro
análisis. El criterio es el mismo que en aquella.
(*) ¿No parece una redundancia innecesaria e injustificada? 4
Area
de Ciencias de la Naturaleza
Actividades
básicas: leer y escribir.
NOTAS: (*) ¿Qué
diferencia existe entre localizar y reconocer?
3.2 Primer Ciclo de Educación Primaria Actividades básicas: Oír, leer y escribir. Para las áreas evaluadas en este ciclo, el informe nos dice sólo el número de preguntas propuestas con la expresión genérica de los contenidos evaluados, por lo que no puedo aplicarle tratamiento alguno. 3-3 Resumen de la matrices síntesis de actividades, procesos o funciones de las pruebas de rendimiento. Si se hace
una lista con los distintos verbos usados para indicar la acción
del alumno ante la pregunta que se le propone en la evaluación y
recogidos en las matrices anteriores, resulta lo siguiente:
(*)
de comparar.
En esta relación
no están incluidos los verbos que se correponden con las actividades
exigidas en las preguntas de las pruebas de Primaria ya que, el documento,
no ofrece información al respecto. Asimismo es notoria la dispersión
de los verbos usados en el enunciado de las preguntas. Para mayor información,
remito al lector al documento. La falta de precisión en la exposición
de las cuestiones planteadas es manifiesta.
4.- ANALISIS DE LOS RESULTADOS DE LAS PRUEBAS DE RENDIMIENTO En el apartado anterior he sintetizado: los instrumentos de evaluación, el proceso de gestación de las pruebas, selección de las preguntas e información sobre su enunciado. Se ha expuesto también, las diversas actividades exigidas con expresión de los verbos indicadores de la instrucción en base a la cual el alumno daría su respuesta. Se impone adentrarse en los resultados de la evaluación. El informe los distribuye por áreas, siguiendo los mismos epígrafes para todas las áreas, en cada una de las cuales expone los resultados de “las pruebas de rendimiento” en sendas matrices .que recogen: las preguntas con expresión del número de identificación , los procentajes de aciertos, errores y NC, para cada bloque de contenidos a evaluar. Asimismo el documento intercala explicaciones, comentarios, observaciones, aventurando algunas conclusiones; alguna de las cuales ya se han transcrito en la primera parte de este informe. El análisis que ofrezco, está inspirado en los resultados globales de las pruebas y comentarios que al respecto hace el documento, para lo cual formaré una matríz con los porcentajes mínimos, máximos y medios de aciertos en cada bloque de contenidos, los comentarios o conclusiones que hace el informe; finalmente expondré mi opinión sobre ello. El apartado “las conclusiones”, transcribe literalmente lo que dice el documento. Las cursivas pretenden resaltar lo llamativo de las conclusiones. 4-1 Evaluación del 6º curso de EGB. Los datos:
Ver páginas 11 a 17 del documento
Los datos:
Ver páginas 36 a la 42 del documento.
Los resultados
por capacidad o proceso matemático son los siguientes:
Los datos:
Ver páginas 62 a la 67 del documento
(*) Dos preguntas,sólo.
Los resultados
por capacidades, cuya definición aparece en el documento, son los
siguientes:
No incluye
los valores extremos por capacidad.
4 Area de Ciencias de la Naturaleza: Los datos:
Ver páginas 89 a la 94 del documento
(*) ¿Error? Los resultados
por capacidades, cuya definición aparece en el documento, son los
siguientes:
No incluye los valores extremos por capacidad.
4-2 Primer ciclo de Edcucación Primaria. Los datos:
Ver páginas 148 a la 151 del documento
No incluye
los valores extremos por bloques.
No incluye los valores extremos en esta forma de agrupación
Los datos:
Ver páginas 155 a la 157 del documento
No incluye
los valores extremos.
5.- ANALISIS DE LOS RESULTADOS DE LOS CUESTIONARIOS DE OPINION En cada área de 6º de EGB además de “las pruebas de rendimiento” aparece un epígrafe con la denominación de “Relación entre los resultados de la prueba y las variables del proceso” que consiste en un cuestionario para alumnos y profesores. Los alumnos deberán responder sobre. métodos, hábitos y valoración del área, actitudes y relación con los alumnos y satisfacción con los profesores. El profesorado debe contestar al cuestionario sobre: aspectos metodológicos: principios e ideas sobre educación y práctica docente, programación, preparación de las clases, presentación de los temas, prácticas docentes y técnicas e instrumentos de evaluación. El documento enfatiza el hecho de que “los profesores no constituyen una muestra de población del profesorado” que imparte la docencia a los grupos evaluados. Los resultados de la encuesta los expone el informe relacionando los porcentajes de respuesta a los distintos items del cuestionario con los porcentajes obtenidos en “la prueba de rendimiento”. Los datos son prolijos y para su consulta remito al documento. Del texto he seleccionado aquellas conclusiones de la encuesta a los alumnos, que puedan ser de interés para el análisis que me propongo. Penetrar en los cuestionarios a profesores y demás colectivos, alargaría innecesariamente el presente trabajo. Utilizo en su presentación el mismo esquema que el seguido para las pruebas de rendimiento. Los datos:
Ver páginas 17 a la 36 del documento
Los datos:
Ver páginas 42 a la 62 del documento
Los datos:
Ver páginas 67 a la 89 del documento
Los datos:
Ver páginas 94 a la 114 del documento
5-2 Primer Ciclo de Educación Primaria.
Los datos:
Ver páginas 157 a la 160 del documento
Un
comentario final: Tengo el convencimiento de que este trabajo mío,
como otros anteriores, verá el cesto de los papeles
o a todo lo más será archivado sin más. La crítica
no es bien recibida sobre todo cuando viene de persona “no autorizada”;
sin embargo, siempre queda la esperanza de que pudiera servir de aldabonazo
que haga reflexionar a los autores del informe, revisen su trabajo y los
someta a las medidas correctoras que lo haga “eficaz y eficiente”. Por
mi parte he cumplido. He invertido bastantes horas en su estudio
y pese a lo afirmado anteriormente no habrá sido inútil,
al menos para mí. El estudio es enriquecedor, pero, (siempre la
hiel del pero), tengo la sospecha de que hemos perdido una vez más
el tiempo, que es el único bien irrecuperable.
Analizar un documento escrito requiere una lectura previa. Cuarenta años de profesor me han dado una sensibilidad especial, un poco obsesiva quizá, ante las erratas y los errores. Las cosas pueden hacerse de tres formas: peor, igual o mejor. Un profesor ha de estar convencido y convencer de que todo trabajo es mejorable; aunque lo óptimo no se alcance porque la perfección es de tendencia asintótica. En ese contexto recojo las erratas no incluidas en la hoja que, con tal fín, acompaña al documento y que se exponen a continuación.Los cuadros del informe no están numerados o identificados por algún código. Como se apreciará posteriormente, este hecho dificulta su referencia y localización.
2-3 Otras erratas en los números: Sumas de porcentajes mayor y menor de 100, (99 ó 101) que muestra, falta de atención a los "redondeos", en las páginas que se indican: 14, 15, 17, 18, 19, 20, 23, 25, 26, 28, 29, 30, 35, 40, 41, ........ Sumas de porcentajes mayores de 100 que indica errores en los sumandos en las páginas que se indican: 14, 15, 33,...... Suma inferior a 100 que sugiere la existencia de una opción no incluida en página 24. "Quien esté libre de un error, que tire la primera piedra". El error es el aviso permanente de que somos humanos. El común de los mortales puede justificarse ante una errata o error pero, como he dicho en escrito anterior, la "C" del INCE y los recursos que tiene o puede tener a su disposición, le obliga y exige una esmerada revisión de sus documentos. La palabra enseña pero el ejemplo arrastra.
Málaga, Noviembre de 1.997
email: marodgar@telefonica.net
|