TALLERES DE EVALUACIÓN INSTITUCIONAL: EXPERIENCIA DE PREPARACIÓN Y USO DE LOS RESULTADOS DE LA ACREDITACIÓN
C. Loreto Miranda[1]
G. Núñez Núñez[2]
RESUMEN
La Facultad de Ingeniería de la Universidad Nacional Autónoma de México (UNAM), ha participado en tres ocasiones en procesos de acreditación otorgadas por el Consejo de Acreditación de la Enseñanza de la Ingeniería (CACEI): en 2001, 2006 y 2011. A raíz de los resultados obtenidos en el proceso de acreditación 2006, se plantea la necesidad de organizar y coordinar el trabajo previo a la acreditación de manera que el proceso de elaboración de reportes de autoevaluación y de seguimiento a las recomendaciones se incorpore al devenir institucional como una actividad permanente. El objetivo de los talleres en sus distintas etapas fue favorecer el trabajo de evaluación institucional permanente y sentar las bases de una cultura de la evaluación. Se tomaron como base las categorías e indicadores planteados por el organismo acreditador, incorporándolos de manera práctica y reflexiva al trabajo institucional más allá del ámbito de la acreditación. En cada una de las etapas antes mencionadas se tuvieron objetivos específicos de trabajo y resultados que se presentan en este trabajo.
ANTECEDENTES
La Facultad de Ingeniería de la UNAM imparte doce programas de ingeniería agrupados en cuatro divisiones profesionales: Ciencias de la Tierra, Ingeniería Civil y Geomática, Ingeniería Eléctrica Electrónica e Ingeniería Mecánica e Industrial. Todos han sido acreditados por lo que institucionalmente conservar el reconocimiento público de calidad, obtenido en los ejercicios de acreditación implicaba cumplir con los requisitos y lineamientos que señala el CACEI como organismo acreditador, sin perder de vista los beneficios del proceso de acreditación que se decidió incorporar al quehacer institucional hace catorce años.
Con la finalidad de preparar los procesos de acreditación que se llevarían a cabo en 2011, la Secretaría de Apoyo a la Docencia, a través de la Coordinación de Evaluación Educativa propone un Taller permanente de trabajo académico que, con base en la experiencia de las acreditaciones anteriores permita planificar y desarrollar el proceso de re acreditación de los doce programas.
METODOLOGÍA
Los talleres de evaluación institucional se desarrollaron en tres etapas de trabajo en las que se respondió a objetivos, necesidades y demandas institucionales específicas relacionadas con los procesos de acreditación. Los destinatarios en las tres etapas fueron las áreas académicas, administrativas y de servicios de la Facultad involucradas en el proceso de Acreditación.
Los talleres fueron: Taller preparaCACEI 2010, Taller permanente de evaluación institucional 2012 y Taller de evaluación institucional: perspectivas para la mejora continua 2013. Estos se desarrollaron a través de sesiones de trabajo mensuales en las dos primeras etapas, y bimestrales en la última.
En los tres talleres el grupo de participantes estuvo conformado por dos académicos responsables por cada programa encargados de llevar a cabo el llenado del reporte de autoevaluación y nombrados institucionalmente responsables del proceso de acreditación de cada programa. Participaron representantes de las Divisiones de Ciencias Básicas y Ciencias Sociales y Humanidades, además de representantes de las secretarías y coordinaciones que dan servicio a toda la facultad.
A continuación se describirán brevemente cada uno de los talleres.
Taller preparaCACEI 2010
Este taller fue desarrollado a partir de la revisión de las recomendaciones elaboradas en las acreditaciones previas (2001 y 2006) y en los reportes de medio término de la acreditación inmediata anterior. Al analizar los dos procesos previos se observa que aunque se tuvieron aciertos y se cuidaron los tiempos y forma de entrega de las autoevaluaciones, se tuvo poco cuidado en algunos aspectos y los resultados no fueron del todo satisfactorios.
Se pensó trabajar la preparación del próximo proceso de acreditación en el formato de un taller, ya que este tipo de estrategia de trabajo en grupo permitiría avanzar de manera conjunta a los doce programas, llegando a acuerdos relativos a la información común a presentar, además de favorecer la creación de un espacio para la discusión y análisis conjunto sobre las problemáticas específicas derivadas de los requerimientos de información y de la elaboración de los reportes de autoevaluación.
El objetivo general de este taller fue preparar el proceso de acreditación 2011 de todas las carreras que imparte la Facultad. Se plantearon como objetivos particulares analizar los resultados del proceso de acreditación anterior; unificar los criterios de presentación de la información para poder cubrir de manera puntual y uniforme los requisitos que son comunes a todos los programas; identificar y analizar la información requerida para la presentación de la autoevaluación; sistematizar la información requerida por parte de las diferentes áreas de la Facultad y favorecer la elaboración del reporte de cada programa a lo largo del taller.
El contenido abordado estuvo referido a las diez categorías de análisis propuestas por el CACEI señalando en cada una de ellas los indicadores que las conformaban, la información que se requeriría presentar, y las instancias internas de la Facultad encargadas de proporcionarla.
Las funciones abordadas desde la coordinación del taller fueron la planificación, desarrollo y valoración del trabajo, además de proponer y promover actividades que facilitaran el vínculo grupal y las tareas a realizar, manteniendo el intercambio entre los participantes en un nivel en que todos se interesaran en el proceso y pudiesen participar en el análisis de la información y el planteamiento de nuevas respuestas de intervención, favoreciendo la realimentación permanente.
Se trabajaron en diez sesiones con duración de tres horas cada una, iniciando en enero y concluyendo en octubre de 2010. Para facilitar la comunicación con los participantes, se abrió un grupo de Google http://groups.google.es/group/preparacacei-2010 en el que se incluyeron materiales, minutas y avisos referidos tanto el desarrollo del taller como a información específica y acuerdos tomados en cada sesión. (Figura 1)
Figura 1. Portada de la página preparaCACEI 2010
Una vez nombrados los académicos que participarían en el taller se hizo un análisis de la experiencia de éstos trabajando en procesos de acreditación. El trabajo durante las sesiones varió dependiendo de la categoría, del grado de dificultad y de precisión de la información requerida, así como de la experiencia de los participantes; en algunas sesiones se trabajó por áreas afines, en otras se ubicó a los participantes con más experiencia como "líderes" y con ellos se incluyó a los participantes con menos experiencia.
Cada sesión inició con una presentación en la que en resumían los aspectos más importantes de la categoría a trabajar. Para casi todas las sesiones se envió con anticipación a los participantes un cuestionario que fue la base del trabajo, dejando tiempo a una discusión plenaria en la que además de llegar a acuerdos sobre la información que se presentaría de manera uniforme, se pudieran manifestar las dudas e inquietudes respecto a los requerimientos, e incluso formular cuestionamientos referidos a algunos indicadores que se consideró no aplicaban para la facultad de ingeniería.
La metodología que se planteó para abordar el trabajo tanto previo a las sesiones como en el desarrollo de cada una de ellas fue partir de un análisis de cada categoría tomando en cuenta cuatro elementos principales: 1) la definición de lo que se pretende evaluar, 2) la identificación y reunión de la información requerida, 3) la valoración de dicha información de acuerdo con los criterios de pertinencia, calidad, suficiencia, etc. y 4) la forma de presentación de la información.
Para valorar la información se les sugirió formularse las siguientes preguntas ¿Es suficiente? ¿Es completa?¿Está actualizada? ¿Está en proceso de elaboración? ¿Cuándo concluye? ¿Qué se puede gestionar desde este taller?
Para la presentación de la información se sugirió a los participantes que se elaborara la justificación o fundamentación de la forma en que se llenan el reporte de valoración en el propio manual de CACEI. Se hizo énfasis en la argumentación clara y concisa que requiere esta parte del proceso, además de no incluir en el reporte de autoevaluación vínculos sin referencia específica.
Como resultados de este taller se obtuvo: trabajo conjunto y colaborativo de todas las áreas de la Facultad; el llenado de los aspectos comunes de reportes de autoevaluación, el diseño de un sistema de captura de los curriculum vitae de profesores que da como resultado trece de las tablas resumen solicitadas, se evitó la duplicidad de solicitudes a las áreas de apoyo y se aclararon dudas al momento.
Taller permanente de evaluación institucional 2012
Este segundo taller surge en el contexto del Plan de Desarrollo de la FI 2011-2014, Proyecto 2.3 Evaluación Educativa para la mejora continua, cuya línea de acción 1 señala la necesidad de: "Establecer el Taller permanente de Evaluación Institucional con la participación de los responsables de las doce carreras y todas las áreas de apoyo extendiendo la experiencia del Taller Prepara CACEI realizado en el 2010."
Algunas reflexiones y valoraciones derivadas del proceso de evaluación del 2011 que dan lugar a que se incluya en el plan de desarrollo institucional este taller fueron las siguientes: "El trabajo de autoevaluación debe ser permanente; los proceso de acreditación proporcionan elementos para identificar indicadores que desde la autoevaluación se ha detectado que son incompletos o que falta desarrollar; es necesario recopilar semestralmente la información necesaria a reportar, y no únicamente de manera intensa cuando se acerca acreditación; es conveniente revisar aquello con que contamos y diseñar estrategias para identificar lo que nos falta en conjunto (FI) o en forma particular a cada programa."
El propósito de este taller fue identificar las áreas y oportunidades de mejora de los doce programas de la FI, analizando los resultados obtenidos en el proceso de acreditación 2011.
Los objetivos particulares que se plantearon fueron:
Identificar las áreas de oportunidad señaladas en los reportes de los comités evaluadores, independientemente de las recomendaciones emitidas; identificar la información requerida para la presentación del reporte de medio término ante CACEI, continuar el proceso de sistematización y captura semestral de información que se inició para el proceso de acreditación anterior, haciendo ajustes al sistema elaborado para tal propósito
Los contenidos abordados fueron: 1) el análisis de las recomendaciones señaladas a cada programa; 2) el planteamiento de propuestas de trabajo para abordarlas, identificando actividades de cada programa y actividades comunes a todos los programas. 3) la revisión de los reportes de los comités evaluadores identificando los aspectos que son áreas de oportunidad para cada programa. 4) la revisión y actualización del sistema de captura implementado en el ejercicio de acreditación 2011, valorando sus ventajas y posibles mejoras, con la finalidad de que sea utilizado de manera permanente (cada semestre) con la información que se requerirá en próximos ejercicios de evaluación y acreditación.
En este taller se revisaron los resultados generales de la Facultad por categoría y por programa, teniendo una categoría o dos de análisis en cada sesión. Para esta revisión se tomaron en cuenta los criterios empleados por CACEI al definir si se cumple con el requisito casi nada, poco, medianamente, o ampliamente. (Tabla 1)
Tabla 1. Ejemplo de análisis global de recomendaciones
Se trabajaron en diez sesiones con duración de tres horas cada una, iniciando en marzo y concluyendo en octubre de 2012.
Taller de evaluación institucional 2013: perspectivas para la mejora continua
Los objetivos planteados para este taller fueron: Afianzar la cultura institucional de evaluación orientada hacia el mejoramiento continuo de las carreras; continuar el trabajo de seguimiento a partir de los resultados del proceso de reacreditación; contribuir en la preparación de los reportes de media acreditación a presentar en diciembre del 2013 y junio del 2014.
Los contenidos abordados fueron: Evaluación para la mejora continua. Análisis específico de las categorías con mayor número de recomendaciones. Revisión de los elementos a considerar en los reportes de medio término de la acreditación.
Se trabajaron sesiones en las que se abordaron los elementos comunes de las categorías en que se presentaron un mayor número de recomendaciones identificando las actividades o tareas a realizar para llegar al estado que se pretende.
Se generaron compromisos grupales de trabajo, entregas y revisión de información, misma que se reportó como avances al grupo directivo de la Facultad.
Se trabajaron en cinco sesiones con duración de tres horas cada una, iniciando en febrero y concluyendo en octubre de 2013.
DISCUSIÓN DE RESULTADOS
En el transcurso de los tres talleres se tuvieron algunos resultados y se desarrollaron algunos instrumentos que serán de utilidad en otros procesos de evaluación institucional:
v Se diseñó y puso en marcha un sistema de captura de información relativa a los docentes.
v Se elaboraron formatos de información para compartir entre las áreas, de revisión de reportes de autoevaluación de cada programa, de análisis de recomendaciones.
v Se llegó a acuerdos de trabajo para el llenado de los reportes de autoevaluación; uniformidad en la presentación de la información común a todas las áreas.
v Hubo coordinación al interior de las áreas académicas con áreas administrativas y de servicios.
v Se incluyeron de las recomendaciones del organismo acreditador en la agenda de trabajo de la Coordinación de Planeación de la FI y el los proyectos del Plan de Desarrollo institucional.
v Se logró tener respuesta de los involucrados en el proceso de acreditación, ya que el trabajo realizado en los talleres, permitió despejar dudas en la elaboración de los informes.
v El análisis y uso que se ha dado a los resultados del proceso acreditación a través de los talleres ha hecho que éstos sean considerados a nivel de la UNAM como una de las buenas prácticas que reconoce el Consejo de Evaluación Educativa de la UNAM.
CONCLUSIONES
La evaluación es un medio que permite conocer la realidad de las instituciones, programas y agentes de la educación. Sin embargo, para ser eficaz debe dejar de operar principalmente como mecanismo de control y servir para orientar proyectos de innovación académica. Este fue el sentido que se pretendió dar a los talleres al ir más allá de solo cumplir con los requisitos del organismo acreditador, profundizando en las prácticas educativas y lo que nos revelan.
Los tres talleres sirven como referentes para futuras evaluaciones, pues resultó una herramienta práctica para trabajar cada uno de los indicadores. En el próximo ejercicio de acreditación de los programas de la Facultad y teniendo como base el Marco de Referencia para la Acreditación 2014 del CACEI, se diseñarán estrategias de trabajo conjunto que retomen el trabajo de estos talleres y estén acordes a las necesidades y dimensiones de esta tarea.
El grupo con el que se trabajó a lo largo del taller es una muestra que representa algunas características positivas de la comunidad de la FI tales como el enfoque en la tarea, el sentido pragmático de las acciones emprendidas y la efectividad de las mismas. A pesar de los cuestionamientos a las actividades y al mismo sistema de evaluación del CACEI, se organizaron para cumplir con eficiencia la encomienda que les fue asignada.
En el devenir institucional de la Facultad existen tiempos específicos para la planeación, para el desarrollo de diferentes actividades académicas y para la investigación. Con el desarrollo de estos talleres se señaló la necesidad de designar tiempos específicos para la evaluación y el análisis de los resultados que de ella emanen, incorporándolos de manera práctica y reflexiva a la planeación institucional.
BIBLIOGRAFÍA
Consejo de acreditación para la enseñanza de la ingeniería (2009) Manual para la acreditación de Programas. CACEI. México.
Loreto Miranda, C. (2011) Análisis, evaluación y seguimiento de los resultados del proceso de acreditación de las carreras que imparte la Facultad de Ingeniería de la UNAM: una propuesta de sistematización y organización de resultados. Tesis de Maestría en pedagogía. Facultad de Filosofía y Letras.UNAM.