EVALUACIÓN DE APRENDIZAJE EN UN CURSO MEDIANTE TÉCNICA DE REDES SEMÁNTICAS NATURALES
A. L. González Lara[1]
D. Navarro Reyes[2]
RESUMEN
Las redes semánticas son estructuras utilizadas para representar conceptos en computadoras, entre sus usos principales se incluyen: comprensión del lenguaje natural, recuperación de información, visión artificial. Redes Semánticas Naturales (RSN) es una técnica basada en la generación de definiciones conceptuales de participantes para construir una red semántica. Las RSN tienen como fundamento el campo de investigación en aspectos de la memoria humana, constituyen una visión cognitiva de la manera en que las personas representan la información así como del desarrollo de sus experiencias, tiene como objetivo permitir el estudio del modo en que se establecen los significados desde la memoria semántica. En la técnica RSN el significado de un concepto se conoce al solicitarle al participante que elabore una lista de palabras que lo definen y que asigne un valor de acuerdo a la cercanía con el concepto, a partir de esta elaboración se analizan los definidores mediante indicadores definidos; al analizar la red que el alumno construye se pueden evaluar los resultados de un proceso de aprendizaje, incluso conocer cuál es la influencia del maestro o bien comparar las representaciones de un concepto antes y después de un curso. El objetivo del trabajo es utilizar el método de RSN para la evaluación del conocimiento adquirido por un grupo de alumnos durante el curso con la finalidad de experimentar con una nueva técnica de evaluación cognitiva para medir aprendizaje mediante representaciones conceptuales ya que la evaluación tradicionalmente utilizada algunas veces no refleja la representación del conocimiento debido a que en algunos casos los aciertos pueden ser por azar o un conocimiento parcial. Para realizar el trabajo se utilizó una plataforma web en la que los alumnos de un curso de Modelado y Simulación de Sistemas realizaron el procedimiento de la técnica RSN al inicio del curso y a mediación del curso; los conceptos a definir fueron proporcionados por el profesor quien también realizó el proceso. Se calcularon los indicadores definidos para esta técnica. Se realizó la comparación entre la red del grupo, de cada alumno y del profesor mediante el cálculo de la similitud para obtener los resultados de la evaluación. La comparación muestra que la similitud entre la red de los alumnos y el profesor se incrementa en el procedimiento realizado a mediación del curso, lo que indica que esta técnica es útil para evaluar aprendizaje en un curso y es posible utilizarlo para evaluar la formación de los ingenieros.
ANTECEDENTES
Las redes semánticas son estructuras gráficas utilizadas para representar conceptos y conocimientos en computadoras, entre sus usos principales se incluyen: comprensión del lenguaje natural, recuperación de información, visión artificial, análisis orientado a objetos y control dinámico de aviones de combate. Se puede decir que las redes semánticas son un lenguaje visual del pensamiento (Lehmann & Rodin, 1992). Las redes semánticas no sólo representan información, sino que facilitan la recuperación de hechos relevantes dado que estructuran la información de modo que se facilite esta recuperación (Allen & Frisch, 1982).
Desde la perspectiva de las redes semánticas, son las interrelaciones entre conceptos, así como la activación de los conceptos que se interrelacionan, lo que produce el significado, y no la esencia pura de los conceptos; una red semántica es un modelo de organización de información que nos permite estudiar la formación del significado aún y cuando no nos permita analizar la esencia pura de los conceptos que se involucran, lo anterior es relevante, ya que dichas representaciones semánticas son las causantes de diversas formas de nuestra conducta (Figueroa Nazuno, en prensa).
Redes semánticas naturales
Redes Semánticas Naturales (RSN) es una técnica que se basa en la generación de definiciones conceptuales de participantes para con dichas definiciones construir una red semántica, la diferencia con otros métodos que producen redes semánticas radica en que el método de RSN permite que las definiciones con las que se construye la red sean proporcionadas por el propio participante; en otros métodos para construcción de redes semánticas, las definiciones conceptuales de la redes semántica son particulares debido a que son proporcionadas y definidas por el propio investigador, están dadas por categorías artificiales de conocimiento, lo anterior limita la obtención de un significado; mediante RSN se puede analizar procesos de inferencia por lo que esta técnica es útil para analizar la representación del conocimiento aprendido en un curso; actualmente existe potencial en la aplicación de la técnica de RSN en el uso de ontologías de conocimiento, en el área conocida como Semantic Web (Red de Internet Semántica) (Figueroa Nazuno, en prensa).
Las RSN tienen como fundamento el campo de la investigación en aspectos de la memoria humana, constituyen una visión cognitiva de la manera en que las personas representan la información así como del desarrollo de sus experiencias; dicha técnica tiene como objetivo permitir el estudio del modo en que se establecen los significados desde la memoria semántica, una de las características principales de esta técnica es que las propias redes determinan el significado de los conceptos, es posible que estos conceptos sean definidos o definidores al mismo tiempo, lo anterior dependerá de la parte que se active de la red conceptual (Vargas Medina, en prensa).
La técnica de RSN ha sido utilizado en diversas áreas desde su creación en 1981 en que Figueroa (Figueroa, González, & Solís, 1981) plantea la creación de RSN para hacer investigación con humanos, esta técnica ha sido actualizada y depurada hasta llegar a las categorías semánticas que incluyen una modificación a la técnica original de Figueroa, para analizar la forma en que se organizan significados a partir de la memoria semántica, mediante las palabras definidoras que utilizan los sujetos para definir una palabra estímulo, además consiguen definir numéricamente los atributos de la red y así realizar comparaciones (Valdez & Reyes, 1993).
La técnica de RSN se ha utilizado principalmente para aplicaciones de psicología social con el objetivo de investigar acerca de los significados; diversos trabajos muestran que esta técnica ha sido utilizada para representar significados con distintos temas (Arévalo Aguilera, 2010) (Murillo Estepa & Becerra Peña, 2009) (De la Cruz Flores & Abreu Hernández, 2012) (Trejo-Lucero, Camacho-Beiza, & Herrera-Villalobos, 2011).
Se describe de manera breve la técnica RSN, la cual se divide en dos partes fundamentales (Reyes-Lagunes, 1993):
a) Solicitar a los sujetos participantes que definan con claridad y precisión a la palabra estímulo que se les presenta, mediante el uso de palabras individuales que consideren que están relacionadas con ésta, a las palabras mencionadas se les llamará definidores; el tiempo que se dará a los sujetos para definir cada concepto es de 60 segundos, debido a que si se les proporciona un tiempo mayor, los participantes tienden a proporcionar asociaciones libres en lugar de definiciones.
b) Pedir a los participantes que califiquen asignando el número 10 a la palabra más cercana o relacionada con la palabra estímulo, el número 9 a la que sigue en importancia, etc., se asignará 1 al concepto menos relevante, se deben jerarquizar todas las palabras dadas como definidores,
Una vez que se tienen los definidores de la palabra estímulo para la cantidad de sujetos establecida que participa en el estudio, se genera una tabla de frecuencias, en la que se calcula el peso semántico tomando en cuenta la frecuencia con que fue mencionado cada uno de los definidores en cada valor jerárquico.
El paso siguiente consiste en calcular los indicadores propuestos por Figueroa, González y Solís (Figueroa, González, & Solís, 1981) y Valdez (Valdez M, 2000) que se definen a continuación:
Valor J: Son todas las palabras utilizadas por los sujetos para definir los conceptos que actuaron como estímulo (definidores).
Valor M: Se calcula tomando en cuenta el peso semántico asignado por los sujetos a cada concepto definidor de acuerdo a su importancia o pertinencia.
Grupo
SAM (Semantic Association Memory): Está formado por los 10
definidores con el Valor 
más elevado de cada uno de los
conceptos que actúan como estímulo. Forman el significado de la red sobre el
concepto estímulo.
Medidas de Similitud
La similitud es una medida numérica de qué tan parecidos son dos objetos de datos, es mayor cuando los objetos son más parecidos, generalmente se encuentra en el rango [0,1]; por otra parte la disimilitud es la medida numérica de lo diferente que son dos objetos de datos y disminuye cuando los objetos son más parecidos, el valor de disimilitud mínimo suele ser 0 y el superior varía (Tan, Steinbach, & Kumar, 2006).
Si tenemos un conjunto de N objetos caracterizados por los valores de sus variables (x1, x2,..., xm), serán más similares cuanto más parecidos sean sus valores en las variables individuales, lo que se traducirá en que se sitúen próximos en el espacio m-dimensional. Por lo tanto, cualquier método de agrupación comienza por el cálculo de la similitud entre los objetos. Los tipos de medidas de similitud más importantes son: distancias, coeficientes de correlación y otros (Massart & Kaufman, 1983). Una medida de similitud está dada por el coseno del ángulo entre dos vectores, el modelo propone evaluar el grado de similitud entre un vector a y un vector b, como la correlación entre los dos. Esta correlación puede medirse, por ejemplo, con el coseno del ángulo entre dichos vectores, lo que es equivalente al producto escalar normalizado entre ambos vectores como muestra la siguiente ecuación (Muflikhah & Baharudin, 2009).
SimCos(a, b)=
(1)
Objetivo
El objetivo del trabajo es utilizar el método de RSN para evaluar el conocimiento adquirido por los estudiantes durante el curso con la finalidad de contar con una nueva técnica de evaluación que permita medir el aprendizaje mediante representaciones conceptuales.
Justificación
En todos los niveles educativos, la evaluación tiene grandes efectos e impacto sobre la formación de los alumnos; la evaluación constituye un elemento muy importante en la práctica educativa desarrollada en el aula escolar; la evaluación tradicionalmente utilizada algunas veces no refleja la representación del conocimiento ya que en algunos casos los aciertos pueden ser por azar o por un conocimiento parcial. La información contenida en la red semántica obtenida con la técnica RSN ha sido analizada de acuerdo a los indicadores propuestos por Figueroa, González y Solís (Figueroa, González, & Solís, 1981) y Valdez (Valdez M, 2000); al analizar la red que el alumno construye se puede evaluar los resultados de un proceso de aprendizaje, incluso conocer cuál es la influencia del maestro (Meraz, 1983; Meraz, Carmona & Kano, 1993), o la comparación de las representaciones de un concepto antes y después de un curso (Micu, Talayero, Fouilloux & Díaz, 2000; Ortiz, Micu, Díaz & Hernández, 1996).
La evaluación tradicional no analiza la manera en la que el estudiante ha representado el conocimiento, ni los cambios realizados en la misma, de modo que no se tiene la certeza de una mejor comprensión del tema (López, Castañeda, Pineda, & Orduña, 1992); es conveniente probar otras formas de evaluación cognitiva de los cambios en la estructura del conocimiento aprendido (Padilla, 2004), que permitan medir el aprendizaje mediante la observación de las representaciones conceptuales (Goldsmith, Johnson.& Acton, 1991).
El trabajo consiste en aplicar en dos ocasiones la técnica de RSN a un grupo de alumnos del curso de Modelación y Simulación de Sistemas Dinámicos del programa educativo Ingeniero en Tecnología de Software de la Facultad de Ingeniería Mecánica y Eléctrica de la Universidad Autónoma de Nuevo León. La primer aplicación se realizó al inicio del curso y la segunda aplicación a la mitad del curso con la finalidad de comparar, mediante similitud cosenoidal, los resultados de ambos estudios con la red del experto (profesor).
METODOLOGÍA
Hipótesis
Es posible evaluar el aprendizaje de un grupo de estudiantes utilizando la técnica de Redes Semánticas Naturales mediante la comparación con la red del experto.
Participantes e instrumentos
El grupo de participantes está compuesto de 15 hombres y 5 mujeres de una edad entre 20 y 22 años. Todos los participantes saben manejar una computadora y son del área de tecnología de la información.
La aplicación del estudio se realizó en el aula de clase mediante una herramienta de software desarrollada en plataforma web por lo que cada estudiante accedió mediante una computadora para realizar la técnica RSN, este software genera los indicadores de cada red. Para realizar la comparación de la redes se utilizó un programa desarrollado con SCILAB, que es un software matemático, con un lenguaje de programación de alto nivel.
Procedimiento
De manera inicial se deben definir las palabras estímulo que se utilizarán para que sean definidas mediante conceptos, para este proceso participaron tres profesores familiarizados con el curso a evaluar. Las palabras estímulos que se definieron fueron: evento, simulador, número aleatorio, variable aleatoria, modelo y simulación.
Se solicitó al profesor del curso que llenara una plantilla con los definidores de cada uno de los estímulos y que los calificara, como lo indica la técnica RSN, la Figura 1 muestra la plantilla con la información.
Figura 1. Definidores de RSN realizado por el profesor
Para la aplicación de los estudiantes, durante la primera semana de clases, se les solicitó en el aula de clase que ingresaran al enlace de la herramienta de captura de RSN, en donde:
Se captura la información de los datos personales como se muestra en la Figura 2 a).
Figura 2. Desarrollo web para la aplicación de RSN. a) Pantalla inicial de captura de datos del participante. b) Pantalla de instrucciones y ejemplo. c) Pantalla de ejercicio de prueba. d) Pantalla de aplicación de RSN para el estímulo número aleatorio
Posteriormente aparece una pantalla con las instrucciones a seguir para realizar la aplicación como se representa en la Figura 2 b), en esta pantalla también se muestra un ejemplo de la tarea a realizar. A continuación se solicita al participante que realice un ejercicio de práctica utilizando el estímulo "perro" con la finalidad de que se familiarice con el proceso antes de iniciar la prueba, tal como lo muestra la Figura 2 c). Finalmente se van mostrando a los participantes cada uno de los estímulos para que escriba los definidores que asocia así como la calificación de cada uno de ellos como se observa en la Figura 2 d). Cabe mencionar que los estímulos se generan en forma aleatoria, es decir, no aparecen siempre en el mismo orden para cada participante.
DISCUSIÓN DE RESULTADOS
Una vez que se completaron las aplicaciones de los estudiantes se generó la Red Semántica Natural del grupo en las dos ocasiones en que se aplicó, la Figura 3 muestra las redes que se obtuvieron.
Figura 3. Representa las redes que se generaron al inicio del curso (SIMULACIÓN 1) y a mediación del curso (SIMULACIÓN 2)
Comparación de RSN
Los valores calculados del indicador M son normalizados para hacer la comparación entre las redes, se realizó la comparación del experto con la RSN generada al inicio de curso (SIMULACIÓN1) y posteriormente con la RSN generada a mediación del curso (SIMULACIÓN2) ;la comparación entre redes se realizó mediante la fórmula de similitud cosenoidal definida en (1). La Tabla 1 muestra el resultado de las comparaciones, en esta tabla se puede apreciar que en la red SIMULACIÓN1existen 67 definidores diferentes de los cuales existen 14 comunes entre la red del experto y la red de los alumnos; en la red SIMULACIÓN2 la cantidad de definidores diferentes es de 51, de los cuales existen 24 en común entre la red de experto y la red de alumnos. La similitud cosenoidal obtenida se muestra en la Tabla 2.
Tabla 1. Muestra la comparación entre la red del experto y las redes SIMULACIÓN1 y SIMULACIÓN2
Tabla 2. Muestra el valor de similitud cosenoidal
|
Experto vs SIMULACIÓN1 |
Experto vs SIMULACIÓN2 |
|
SimCos(Exp, SIMULACIÓN1 ) = 0.520 |
SimCos(Exp, SIMULACIÓN2) = 0.736 |
CONCLUSIONES
De acuerdo a los resultados obtenidos la similitud entre la red del experto y la red de los alumnos se incrementó en la segunda aplicación, lo que se puede interpretar como un incremento de coincidencia entre los definidores dados por los alumnos a la red del experto, en este caso el profesor, se puede observar que la cantidad de definidores comunes entre la red del profesor y la de los alumnos en la segunda aplicación se incrementa lo que representa que los alumnos del grupo han asimilado conceptos del curso.
La técnica de redes semánticas naturales aplicada en este trabajo permite realizar un análisis de la representación del conocimiento aprendido en un curso y al comparar con la red del profesor, puede ser útil a éste para decidir con respecto al proceso de enseñanza-aprendizaje mediante la observación de los conceptos que están presentes en la RSN generada por los alumnos y de aquellos que deberían estar presentes y no aparecen.
También sería posible comparar la red de cada alumno con la red del experto para evaluar de manera individual el aprendizaje de cada alumno e ir revisando en diferentes momentos del curso los cambios en las representaciones conceptuales por lo que se puede seguir investigando acerca de esta técnica como un instrumento de evaluación cognitiva de fácil aplicación y bajo costo.
BIBLIOGRAFÍA
Allen, J. F., & Frisch, A. M. (1982). What's in a semantic network? . 20th annual meeting on Association for Computational Linguistics. Stroudsburg, PA, USA.
Arévalo Aguilera, H. E. (2010). El uso de las redes semánticas naturales en las representaciones sociales de la responsabilidad. Revista Internacional de Psicología, 11(2).
Böhm, C., Krebs, F., & Kriegel, H. (2002). A Generic Technique for the Similarity Join. Data Warehousing and Knowledge Discovery. Dawak.
Burk, R., Chappell, A., Gregory, M., & Joslyn, C. (2012). Pattern discovery using semantic network analysis. 3rd International Workshop on Cognitive Information Processing (CIP). Baiona, España.
De la Cruz Flores, G., & Abreu Hernández, L. F. (2012). Atributos de tutores de posgrado por campo disciplinario. La perspectiva de estudiantes de la Universidad Nacional Autónoma de México. Perfiles educativos, 34(138), 10-27.
Figueroa Nazuno, J. G. (en prensa). Los orígenes conceptuales de la técnica de Redes Semánticas Naturales. In El enfoque cognitivo de la formación de nuestros significados (pp. 15-29). Monterrey, México: Trillas.
Figueroa, J. G., González, E. G., & Solís, V. (1981). Una aproximación al problema del significado: Las redes semánticas. Revista Latinoamericana de Psicología., 13(3) pp:447-458.
Hinojosa Rivero, G. (2008). El tratamiento estadístico de las redes semánticas naturales. Revista Internacional de Ciencias Sociales y Humanidades, XVIII(1), 133-154.
Lehmann, F. W., & Rodin, E. Y. (1992). Semantics Networks in Artificial Intelligence. Vol 2. Pergamon Press.
Massart, D., & Kaufman, L. (1983). Interpretation of Analytical Data by the Use of Cluster. New York: Wiley.
Muflikhah, L., & Baharudin, B. (2009). Document clustering using concept space and cosine similarity measurement. 6th International Conference on Computer Technology and Development. Hongkong: IEEE .
Murillo Estepa, P., & Becerra Peña, S. (2009). Las percepciones del clima escolar por directivos, docentes y alumnado mediante el empleo de" redes semánticas naturales": su importancia en la gestión de los centros educativos. Revista de Educación, 350, 375-379.
Norvig, P. (2009). Artificial Intelligence: A Modern Approach,. New Jersey: Pearson.
Pirolli, P. L. (2009). Information Foraging Theory: Adaptive Interaction with Information. New York: Oxford University Press.
Reyes-Lagunes, I. (1993). Las Redes Semánticas Naturales: Su Conceptualización y su utilización en la construcción de instrumentos. Revista de Psicología Social y Personalidad, 9(1), 83-87.
Tan, P.-N., Steinbach, M., & Kumar, V. (2006). Introduction to Data Mining. EUA: Addison Wesley.
Trejo-Lucero, H., Camacho-Beiza, R., & Herrera-Villalobos, J. (2011). Significado semántico de –lactancia materna– y –lactancia artificial– en mujeres y hombres. Revista Mexicana de Pediatría, 78(1), 10-15.
Valdez M, J. L. (2000). Las redes semánticas naturales, usos y aplicaciones en psicología social. México: Universidad Autónoma del Estado de México.
Valdez, J., & Reyes, I. (1993). La Construcción de Instrumentos de Medición a partir de Categorías Semánticas. Revista de Psicología Social y Personalidad, 1(9), 57-66.
Vargas Medina, E. (en prensa). Aspectos y fundamentos de la técnica de Redes Semánticas Naturales. In El Enfoque Cognitivo de la formación de nuestros significados (p. 155). Monterrey NL: UANL.