EVALUACIÓN EN LÍNEA DE ASIGNATURAS DE CIENCIAS BÁSICAS EN CARRERAS DE INGENIERÍA
G. M. G. Pulido Rodríguez[1]
R. López Bautista[2]
L. E. Noreña Franco[3]
RESUMEN
En la División de Ciencias Básicas e Ingeniería de la Universidad Autónoma Metropolitana Unidad Azcapotzalco (DCBI-A, UAM) se ha aplicado la evaluación terminal en línea en forma presencial a cohortes de alumnos de una misma asignatura de matemáticas (CMAT), obligatoria para diez ingenierías desde 2011 en el Centro de Evaluación en Línea para Matemáticas, http://galois.azc.uam.mx (galoisenlinea). La evaluación terminal de CMAT se bosqueja desde antes del inicio de clases, para que los profesores puedan realizar una mejor planeación. El alumnado tiene en galoisenlinea autoevaluaciones para preparar exámenes parciales y final desde el inicio del curso, con calificación y retroalimentación automática. También se apoya a alumnos que ya no pueden inscribir CMAT, para que acrediten la asignatura con una serie de exámenes. Los ejercicios de los tests son de respuesta abierta. Los bancos de preguntas son extensos, lo cual permite ofrecer un examen diferente a cada alumno, con el mismo nivel de dificultad. Se ha observado un incremento en el índice de aprobación de CMAT. La DCBI-A impulsa el uso de las TIC en los cursos tradicionales (b-learning) y da opciones de cursos semipresenciales y no presenciales apoyados con las TIC. Se advierte una tendencia de los profesores de otras materias para evaluar en línea a sus alumnos.
ANTECEDENTES
La población de alumnos de la División de Ciencias Básicas e Ingeniería de la Universidad Autónoma Metropolitana Unidad Azcapotzalco (DCBI-A, UAM) es aproximadamente de 7000 alumnos; la asignatura "Complementos de Matemáticas" (CMAT) se imparte en todos los trimestres, pues pertenece al tronco general de las diez carreras de ingeniería ofrecidas por la DCBI-A: ambiental, civil, eléctrica, electrónica, en computación, física, industrial, mecánica, metalúrgica, química. Los objetivos de CMAT están orientados hacia la solución de sistemas de ecuaciones lineales con matrices, al álgebra matricial y a la aplicación del álgebra vectorial a rectas y planos.
El programa de estudios actual existe desde el segundo trimestre de 2007. En Pulido (2014) se da cuenta de la manera en la que se realizaba la evaluación terminal, un examen en papel, el llamado "global". Desde 2011, se aplica el examen terminal a la cohorte en forma simultánea y presencial, pero en línea. En este trabajo se hace una comparación con los promedios de aprobación alcanzados por los grupos en donde se impartió la asignatura desde 2007 hasta 2014. Algunos de los resultados de esta forma de evaluación se describen en López (2013).
En la DCBI-A se abren grupos en modalidad tradicional, semipresencial (Sistema de Aprendizaje Individualizado, SAI), no presencial (CNP). En 2013 se incorporó a los planes y programas de estudios la modalidad Sistema de Aprendizaje Cooperativo (SAC), mediado por TIC. También se incorporó la modalidad virtual, para abrir la posibilidad de impartir un plan de estudios en esa forma.
Por otra parte, Bastien (2014) realizó un análisis acerca de la manera en la que se estaba conduciendo la modalidad no presencial en grupos de la DCBI-A, con la finalidad de obtener un diagnóstico y tener mejores elementos de juicio para mantener ese estilo de enseñanza o bien, para intervenir y mejorar los resultados.
Se puede decir que en todas las modalidades que se han mencionado, existe la posibilidad de aplicar la evaluación en línea, ya sea a distancia, o bien, en forma presencial. Se tiene noticia de que cada vez más profesores de la DCBI-A adoptan el esquema de evaluación en línea en forma presencial, además de los cursos donde los alumnos entregan trabajos, para su evaluación continua en un esquema de aprendizaje combinado, (blended learning, b-learning). El Centro de Cómputo de la Unidad Azcapotzalco de la UAM tiene dificultades para atender las solicitudes de reserva de equipos para la evaluación presencial en línea, especialmente en el horario de las 8:30 a 13 h, como puede verse en la página de reservaciones en línea del Centro de Cómputo, en la liga citada en las referencias. (Coordinación de Servicios)
Es importante señalar que evaluar y calificar son conceptos diferentes; en Hamodi (2015) se considera a la evaluación como una "acción prolongada a lo largo del proceso de enseñanza-aprendizaje", mientras que calificar es una "acción esporádica, circunstancial y puntual". La primera cumple varias funciones: formadora, reguladora (de mejoras), pedagógica, comunicadora (en cuanto a que brinda retroalimentación) y ambientadora (que crea un ambiente escolar); la segunda, es certificadora, selectiva, comparativa y sirve como control.
En la Universidad Autónoma Metropolitana se busca que la evaluación sea más que la aplicación de un examen y se menciona la evaluación periódica y terminal dentro del Reglamento de Estudios Superiores (RES), así como en la redacción de los planes y programas de estudios de las licenciaturas en ingeniería. Hay un cuidado especial en la redacción de objetivos de aprendizaje y en las propuestas de evaluación de los cursos. En la DCBI-A casi todas las asignaturas tienen además un programa analítico, donde es frecuente encontrar indicadores de evaluación, que le permiten al alumno identificar los aprendizajes esperados. Los programas analíticos se elaboran por los Grupos Temáticos de profesores, colectivos que han recibido fuerte apoyo de la DCBI-A.
El "Grupo Temático de Álgebra y Geometría" (GTAG), se reúne periódicamente para revisar los programas, el proceso de enseñanza - aprendizaje y las formas de evaluación de CMAT.
Se tiene instrumentado un Centro de Evaluación en Línea para Matemáticas (galoisenlinea, http: //galois.azc.uam.mx, donde residen aulas virtuales para cursos b-learning o a distancia, donde se realizan evaluaciones en línea.
En este Centro residen las aulas de varios cursos además de CMAT: Criptografía, Matemáticas Discretas, Taller de Matemáticas, Introducción al Cálculo, con acceso 24 x 7 para los alumnos a autoevaluaciones con retroalimentación automática. Hay otras aulas de cursos diversos, algunos de otras Divisiones y Unidades de la UAM.
METODOLOGÍA
Se contó con el archivo de índices de aprovechamiento trimestral de cada grupo para todas las asignaturas y se aplicó estadística descriptiva a las calificaciones obtenidas por los grupos de la asignatura CMAT desde el segundo trimestre de 2007, fecha de inicio de ese programa de estudios hasta el tercer trimestre de 2014.
• Hipótesis de investigación
La aplicación de la evaluación terminal presencial en línea a las cohortes de CMAT desde 2011, brinda mejores índices de aprobación que la forma en la que se llevaba a cabo anteriormente la evaluación terminal.
• Estadística descriptiva de los archivos escolares
En la Figura 1 se puede ver que el número de personas inscritas inicialmente puede variar desde 200 hasta 880, aunque es posible que se den de baja en la 5ª semana del trimestre.
Figura 1. Demanda de curso "Complementos de Matemáticas" CMAT del segundo trimestre de 2007 al tercer trimestre de 2014
El número de grupos que se abren al trimestre puede llegar a veinte, como ocurrió en los trimestres 07-P y 08-I, como puede verse en la Figura 2; también se advierte que el número mínimo de grupos abiertos al trimestre es de ocho. Desde el segundo trimestre del 2007 (07-P) hasta el tercer trimestre de 2014 (14-O) se han abierto 304 grupos en el sistema tradicional.
Figura 2. Número de grupos de CMAT impartidos por la DCBI-A desde el segundo trimestre de 2007 al tercer trimestre de 2014
En la DCBI-A se construyen trimestralmente los índices de aprovechamiento por grupo en cada asignatura. Con este archivo, se hizo el promedio de índices de aprobación en CMAT por grupo, para obtener un promedio de calificaciones de todos los grupos de CMAT impartidos en cada trimestre.
En la Figura 3 se puede ver la distribución de grupos de acuerdo con su promedio, para la primera etapa de esta comparación, del segundo trimestre del año 2007 al tercer trimestre del año 2010, con la evaluación en papel y lápiz, tal como se describe en Pulido (2014).
En ese lapso se ofrecieron 155 grupos en total, de los cuales 41 tuvieron índices de aprobación entre 40 y 50%; es en este intervalo donde se encuentra la moda del conjunto, lo cual indica que la mayoría de los alumnos obtenía calificación reprobatoria. Esta situación de los índices de aprobación menores al 50% fue comentada en reuniones de profesores y autoridades, particularmente en el GTAG y constituía una de las preocupaciones de la DCBI-A por las repercusiones que estaba teniendo en la formación de los alumnos.
Figura 3. Distribución de grupos de CMAT desde el segundo trimestre de 2007 al tercer trimestre de 2010 de acuerdo con su índice de aprobación
Dos de los profesores de ese grupo habían iniciado el trabajo de la evaluación en línea desde el 2010 y plantearon la posibilidad de aplicar esta modalidad de evaluación a la cohorte completa para el primer trimestre de 2011. Las experiencias de la primera vez que se aplicó se describen en López (2012).
La Figura 4 muestra la distribución de índices de aprobación de grupos de alumnos de CMAT de 2011 a 2014, con la característica de evaluación terminal presencial en línea para las cohortes de la asignatura CMAT.
En ese período, se abrieron 149 grupos de CMAT en la DCBI-A. La moda de ese conjunto es 25 grupos, los cuales tuvieron un índice de aprobación entre el 60 y el 70%; lo cual indica que la tendencia central de los índices de aprobación de CMAT mejoró.
Figura 4. Distribución de grupos de CMAT desde 2011 al tercer trimestre de 2014 de acuerdo con su índice de aprobación, con evaluación terminal en línea
Por otra parte, cada trimestre lectivo, la DCBI-A programa dos o tres cursos de CMAT en modalidad semipresencial (SAI). El promedio de los índices de aprobación de los 22 grupos que se abrieron desde el segundo trimestre de 2007 hasta 2010 es 25.5, muy bajo; para los 26 grupos que se abrieron en esa modalidad en los trimestres que van de 2011 a 2014, el promedio de índices de aprobación es de 27.4, superior en dos puntos, aunque sigue siendo muy bajo. Ocurren casos de alumnos que no terminan de adaptarse a este estilo de enseñanza - aprendizaje, lo cual explica parcialmente los índices bajos en desempeño. Cabe señalar que en esta modalidad, desde 2011 siempre hay dos opciones para los alumnos: con aula virtual y sin ella; no hay suficientes registros para hacer conjeturas acerca de cuál resulta ser mejor. El SAI es un sistema que tiene un gran número de aportaciones en material diseñado a propósito, pero hay poco avance en el diseño de la evaluación en línea para la diversidad de asignaturas que se imparten bajo esta modalidad.
Durante el año 2012 se abrieron cinco grupos no presenciales de CMAT, con la característica de hacer evaluaciones presenciales en línea; el promedio de aprobación fue del 33.4% y se inscribieron 89 alumnos en total. Se tenía una mejor expectativa acerca de esta modalidad, pero aparentemente los alumnos rechazaron el hecho de no venir a clases en horarios establecidos y tener que estudiar el material digital en el aula virtual por su cuenta, aunque tuvieron autoevaluaciones en línea y asesoría asíncrona.
La percepción que se tuvo fue que los alumnos que cursan CMAT por primera vez no están preparados para organizar sus actividades, justamente porque están iniciando sus estudios de licenciatura; quienes ya habían cursado la materia estaban en mejores condiciones para afrontar el reto de estudiar por su cuenta.
DISCUSIÓN DE RESULTADOS
El promedio de los índices de aprobación de CMAT del segundo trimestre de 2007 al tercer trimestre del año 2010, es 52.8 con evaluaciones terminales tradicionales, en papel y lápiz. De 2011 a 2014, trimestres con evaluación presencial terminal en línea, el promedio de los índices de aprobación de CMAT es de 59.6. Hay un incremento de casi siete puntos en la segunda etapa, lo cual muestra una mejora en los índices de aprobación.
Es importante señalar que las evaluaciones terminales en línea de CMAT son monitoreadas por el GTAG. La cita más importante de este grupo temático ocurre antes del inicio del trimestre siguiente y ahí se recibe retroalimentación de los profesores que impartieron CMAT en el trimestre previo: cómo se abordaron los temas, qué ejercicios fueron complicados para los alumnos, cómo incidió alguna actividad en el aprovechamiento del curso, cuáles son las dudas más frecuentes, en fin, se comparten las experiencias del curso.
Toda esta información se pone en la mesa y se hacen propuestas de cambio para las evaluaciones terminales del siguiente trimestre, para promover la variedad de ejercicios en los que se puedan alcanzar los objetivos del curso y para fijar características que permitan que los alumnos sean capaces de cumplir al menos la lista de los indicadores de evaluación del programa de estudios. Se proponen criterios para la elaboración de la evaluación terminal y, con estos acuerdos, se abren las autoevaluaciones del curso para que los alumnos ingresen al aula común en galoisenlinea (http://galois.azc.uam.mx) y lleven a cabo tests para prepararse. También pueden hacerlo para cada examen parcial, aunque su profesor no aplique la evaluación en línea. Se observa una disposición del alumnado para resolver estas pruebas, especialmente cuando el profesor a cargo del grupo ofrece un puntaje por el trabajo realizado. Eventualmente, algunos profesores eligen evaluar en línea partes del curso en vez de hacer pruebas escritas tradicionales. Esta decisión de los profesores para preferir las evaluaciones en línea es una consecuencia de la participación colegiada en la crítica y validación de los test aplicados.
La evaluación en línea está siendo aplicada en varias universidades del mundo. Un ejemplo lo vemos en Paturusi (2014), donde da cuenta de cómo utilizaron Moodle para evaluar cursos a distancia de matemáticas discretas y de electrónica en la Faculty of Engineering, Sam Ratulangi University de Japón.
En Singh (2013) se menciona que la aparición de cursos masivos abiertos en línea (MOOCS) ha impulsado la búsqueda de formas de evaluar en línea y que se han desarrollado algoritmos de inteligencia artificial para tener mejores elementos de juicio al otorgar una calificación al curso en School of Computing, Information & Mathematical Science University of the South Pacific Suva, Fiji Islands.
La tarea de evaluar a numerosos sustentantes por medio de las TIC también es preocupación de las universidades actuales. Mukandutiye (2014) define la evaluación electrónica (e-evaluación) como la que se apoya con la computadora para elaborar tests, aplicarlos, dar calificación y reportar los resultados de evaluaciones. Comparó si había diferencia entre el rendimiento de estudiantes examinados en forma tradicional y los examinados con e-evaluación y descubrió que la e-evaluación había sido mejor que la tradicional en términos del rendimiento de los estudiantes, que vino a apoyar la administración de grupos grandes con flexibilidad y disminución de costos. Lo que motivó esta investigación fue el tiempo y esfuerzo que los profesores de grupos numerosos dedicaban a la revisión y corrección de exámenes de sus alumnos, en vez de mejorar los contenidos de aprendizaje, según los autores de la investigación, de la Strathmore University, en Kenya. También influyó el costo de los libretos de evaluación impresos que se utilizaban, que disminuyeron al aplicar la e-evaluación. Hace una revisión de casos exitosos de universidades que pusieron en marcha la e-evaluación e incluso hace recomendaciones prácticas para su aplicación. Usa Moodle, un sistema de gestión del aprendizaje (Learning Management System, LMS). Galoisenlinea usa esta plataforma.
CONCLUSIONES Y/O RECOMENDACIONES
Se ha puesto en funcionamiento un Centro de Evaluación en Línea para Matemáticas (galoisenlinea, http://galois.azc.uam.mx ) en el que se lleva a cabo la evaluación terminal de una asignatura de matemáticas (CMAT) que pertenece al tronco general de las ingenierías ambiental, civil, en computación, física, metalúrgica, química, industrial, mecánica, eléctrica, electrónica que imparte la DCBI-A para cohortes enteras en cada trimestre. Se atiende en forma presencial a 250 alumnos simultáneamente en el Centro de Cómputo de la Unidad Azcapotzalco.
Se cuenta con un algoritmo algebraico y computacional para generar automáticamente cientos de reactivos escritos en LaTeX para Moodle, vía programación con sistemas algebraicos computacionales (CAS) y XML, con la respectiva retroalimentación en imágenes, videos, screencasts o documentos computables, como se refiere en López (2014). Con estos recursos, se pueden generar miles de tests diferentes para diversas asignaturas de matemáticas, contando con la validación de un colectivo de profesores que constantemente monitorea tanto los contenidos como los niveles de dificultad de los reactivos de evaluación, basándose en los objetivos del curso.
En galoisenlinea se atienden varios cursos semipresenciales, no presenciales y en formato b-learning, así como se apoya a alumnos que quedan sin posibilidad de matricularse en cursos formales. La evaluación en línea también ha permitido brindar apoyo a los alumnos que ya no pueden inscribirse formalmente al curso.
El índice de aprobación en la asignatura CMAT ha mejorado desde que se aplica la evaluación terminal en línea. Hay una tendencia que va en aumento para evaluar en línea a los alumnos de física, química, métodos numéricos, programación, matemáticas, comprensión de textos, electrónica, inglés, auditoría informática, etc.
La DCBI-A ha monitoreado el desempeño de los cursos no presenciales para proveerlos de mejores condiciones y para que la comunidad los considere viables para la formación de alumnos. La evaluación del aprendizaje va más allá de asignar una calificación para la toma de decisiones, tal como promover al alumno al ciclo siguiente; se busca que el alumno aprenda a aprender con las autoevaluaciones y que cada vez sea más independiente de su profesor.
BIBLIOGRAFÍA
Pulido, G., López, R. Cid, A. (2014). Evaluación en matemáticas: tradicional y en línea en Martínez J., Romero, V. (Eds.), La concepción de una nueva universidad, (pp. 549-562) México, D.F., UAM.
Bastien, M., González, S., Pablo, H., Pulido, G., Salazar, M. (2014) Creación de la modalidad de Enseñanza a distancia en una División de Ciencias Básicas e Ingeniería. Memorias del Congreso Iberoamericano de Aprendizaje Mediado por Tecnología, CIAMTE 2014. México.
Coordinación de Servicios de Cómputo, UAM-A. http://su.azc.uam.mx/reservasaloncsc/reservaciones_por_dia1.php. Consultada el 17 de marzo de 2015.
Hamodi, C., López, V., López, A. (2015). Medios, técnicas e instrumentos de evaluación formativa y compartida del aprendizaje en educación superior. Perfiles Educativos, vol. XXXVII, núm. 147, IISUE-UNAM 146.
López, R., Pulido, G., Cid. A. (2012). Experiencias del examen global en línea de la UEA de Complementos de Matemáticas, DCBI-A. Memorias del 1er Coloquio sobre la práctica de la Educación Virtual en la UAM-A.
López R., Pulido, G. (2013). Experiencias en la evaluación del aprendizaje en cursos no presenciales de matemáticas para ingenieros. Memorias de la XVIII REUNIóN NACIONAL ACADÉMICA DE FÍSICA Y MATEMÁTICAS NOVIEMBRE 2013.
Paturusi, S., Chisaki, Y., Usagawa, T. (2014) Development and Evaluation of Online Quizzes to Enhance Learning Performance: a Survey of Student Assessment through MOODLE in Indonesian National University. En 2014 International Conference on Information, Communication Technology and System.
Singh, S., Pranit, S. (2013). Educational Courseware Evaluation Using Machine Learning Techniques. In 2013 IEEE Conference on e-Learning, e-Management and e-Services. Sarawak, Malaysia.
Mukandutiye, D., Sevilla, J., Makhanu, E. (2014). Adoption of e-Assessment in Strathmore University. En Paul Cunningham and Miriam Cunningham (Eds). IST-Africa 2014 Conference Proceedings, IIMC International Information Management Corporation www.IST-Africa.org/Conference2014
López, R., Pulido, G. (2014) Aplicación de documentos con cálculos interactivos embebidos (CDF) en matemáticas, en autoevaluaciones y exámenes en un ambiente b-learning en la UAM-Azcapotzalco. Memorias del Congreso Internacional de Investigación Academia Journals.