miércoles, 14 de noviembre de 2012

La calidad y los MOOCs (II): La investigación y la evaluación de la calidad.


Ya vimos si los MOOCs son interactivos. Nos podemos plantear ahora si son evaluativos.

Un principio básico de la evaluación es que ésta se pueda llevar a cabo en el programa formativo de que se trate. Es decir que el programa sea evaluable

La investigación formativa y la evaluación de la calidad constituyen el medio principal para verificar que el programa cumple sus funciones  y para proporcionarnos datos que permitan saber lo que está pasando y en su caso permitan la mejora. En definitiva es un medio de mejorar el aprendizaje y de ver que los objetivos se cumplen.

En este sentido cobran especial importancia los conceptos de “ganancia de aprendizaje”, lo que se incrementa el conocimiento en los estudiantes, y de “ganancia educativa”: Qué de ese incremento se debe a una particular organización educativa (estrategias, métodos y recursos educativos).
Debe de haber o debe de ser posible un uniforme pre-test así como debe poder realizarse un informe después de las acreditaciones de los alumnos del programa, como forma básica de asegurar que el programa cumple sus funciones o en qué medida lo hace. Debe de haber resultados sobre los que medir la “ganancia educativa” y  la “ganancia de aprendizaje”. Esta necesidad está en la base de la investigación y de la evaluación educativa. Estas valoraciones deben igualmente ser posibles sobre los grupos de referencia o en su defecto se debe disponer de estándares.
Otro aspecto que se debe evaluar es el impacto, en el programa y en los aprendizajes, de la actitud de los participantes. 

En un contexto tradicional, el análisis de los aprendizajes se correlaciona con los comportamientos, con las diversas modalidades de comportamiento y con los patrones de comportamiento predefinidos, los resultados se incluyen en los informes de aprendizaje. Si esto se hace así en contextos tradicionales cuyos comportamientos, actitudes y expectativas son más explícitos, parece lógico un enfoque al menos similar en un contexto de entornos con ayuda tecnológica o conectados, y en los  análisis que se hagan del aprendizaje. Y para extraer conclusiones de la correlación  entre las diversas modalidades de comportamientos, con el grado de satisfacción y con el grado de aprendizaje que experimentan los participantes.

En otras palabras: Se utilizan las calificaciones como la variable dependiente en la investigación.

Sin embargo esto no siempre es así. En multitud de programas no se llevan a cabo de forma rigurosa o  no tiene lugar simplemente este tipo de procedimientos, en otros se llevan a cabo de manera que se conservan solo las formas, pero en todos ellos se dan las condiciones para llevar a acabo la evaluación. Son evaluativos.

En unos últimos casos no se dan las condiciones porque por diversos motivos la información no es disponible o no se dan las condiciones para que se disponga de datos de evaluación antes o durante el programa de formación, pero sí después. Es el caso de las antiguas enseñanzas en modalidad “libre”, la primitiva EAD o actualmente los xMOOC, los que organizan las universidades de la iniciativa Coursera o de la iniciativa EDX por ejemplo. Por último podemos considerar aquellos programas de formación en los que no se puede disponer de estos datos en ningún momento. 

En palabras de Wiley[1] (2012), a partir de lo escrito por Stephen Downes para LAK12 (Downes, 2011) en la guía de un programa de este tipo: “[Los MOOCs] son  casi completamente inmunes a la investigación rigurosa en cuanto a la manera en que funcionan como un medio para facilitar el aprendizaje”. 

 



Referencias.-
Downes, S. (2011). Learning Analytics and Knowledge: LAK12. How This Course Works.  http://lak12.mooc.ca/how.htm
Wiley, D. (2012). Thoughts on Conducting Research in MOOCs. Posted on March 5, 2012. http://opencontent.org/blog/archives/2205. Blog de David Wiley: iterating toward openness pragmatism over zeal
Wiley, D. (2012). Slip Sliding Away: The Open en MOOC. Ver http://opencontent.org/blog/archives/2509
Zapata-Ros, M. (2011). Evaluación de la calidad en entornos sociales de aprendizaje RED. Revista de Educación a Distancia. Número 29. Consultado en http://www.um.es/ead/red/29/ el [dd/mm/aaaa]
Zapata-Ros, M. (2012) Calidad y entornos ubicuos de aprendizaje. RED, Revista de Educación a Distancia. Número 31.-  Revisado en http://www.um.es/ead/red/31/zapata_ros.pdf el dd/mm/aaaa
Zapata-Ros, M. (2003) Sistemas de educación a distancia a través de redes. Unos rasgos para la propuesta de evaluación de la calidad. RED, Revista de Educación a Distancia. Número 9.-  Revisado en http://www.um.es/ead/red/9/sistemas.pdf el dd/mm/aaaa


[1] Uno de los fundamentos filosóficos de MOOCs tal como se practica por parte de Siemens, Downes, et al. ha sido el rechazo de la idea de los resultados de aprendizaje previamente definidos. Por ejemplo, el programa LAK12 dice en un párrafo:
No espere poder leer y ver todo. Incluso nosotros, los facilitadores [curioso concepto el que introduce en vez de rofesores], no podemos hacerlo. En cambio, lo que se  debe hacer es seleccionar y elegir el contenido que  vea interesante  y  adecuado para usted. Si le parece demasiado complicado, no lo lea. Si lo ve aburrido, pase a la orden del día. "Los resultados del aprendizaje, por lo tanto, serán diferentes para cada persona”.

sábado, 10 de noviembre de 2012

La calidad y los MOOCs (I): La interacción.



       
       Estoy trabajando en la asignatura de Calidad en el Máster de Alcalá. Renovando un material que ya estaba un poco rancio (en él hablaba de cosas como RSDI, FTP, listas de discusión y de otras antiguallas). 
        La esencia del modelo propuesto se basa en detectar qué rasgos del sistema de formación favorecen un  mejor aprendizaje. Planteamiento recursivo que lleva en sí mismo el concepto de calidad. Y a partir de esos rasgos definir en un bucle qué requisitos son necesarios, e intentar plasmarlos en indicadores.
        En esa tarea he llegado al rasgo "interactivo" o a plantearme en este contexto y para este fin qué es la interactividad. Y he llegado a la siguiente formulación, que espero sea profusamente debatida y criticada


De forma tradicional la EAD primero, el elearning después y en general la ayuda tecnológica al aprendizaje han supuesto romper barreras de todo tipo: De tiempo, de lugar, las originadas por toda clase de problemas que impiden o dificultan la concurrencia en un lugar físico. También supuso la superación de déficits personales y de discapacidades.
Ahora se considera que esta ayuda tiene valores consustanciales que son fundamentales y nuevos. De hecho son génesis y constituyen lo esencial de metodologías diferentes y originales, y dan lugar a situaciones nuevas pero que no son accidentales sino que constituyen la forma nueva de enseñar y de aprender. Cuando ahora hablamos de aprendizaje y de enseñanza hablamos de algo distinto de lo que era hace unos años.
En este contexto debe situarse el rasgo “interactivo” de estos sistemas y "la interactividad".
Sustancialmente siguen siendo lo mismo: la inmediatez y el ajuste de la respuesta y de las contrarrespuestas a las preguntas o a las intervenciones que se producen,
La EaD convencional (o tradicional, no tecnológica, la que utilizaba el correo postal y el teléfono o las emisiones de radiodifusión y TV, aunque fuese por satélite) era una formación diferida, con una respuesta muy lejana, en el tiempo, de cuando se producía la necesidad, o con una respuesta escasa, insuficiente o nula. Donde el poder evocador se había perdido. Incluso la respuesta al ser general perdía su capacidad de motivación que tienen las respuestas personalizadas e inmediatas. En definitiva se trataba de una respuesta con bajo potencial interactivo. Muchos de esos rasgos se conservan aún en algunos modelos actuales de sistemas de EaD. Incluso sistemas considerados radicalmente innovadores como son los MOOCs carecen de interacción profesor-alumno, incluso de alumno-alumno en grupos estructurados orientados según un objetivo de aprendizaje, competencional o simplemente según una meta que no sea simplemente espontánea.
Sin embargo con la presencia del simple correo electrónico, los discos virtuales, los grupos de redes sociales, los foros, el video grupal,... aumentan los elementos de diálogo, autonomía, de autorregulación y reflexión. En definitiva aumentan las oportunidades para que la educación con ayuda tecnológica se convierta en interactiva.
Estos cambios, si son aprovechados, afectan a profesores, alumnos y recursos.
La influencia de esta interacción es de un alto potencial: Bajo su efecto, aunque no solo con él los profesores cambian su rol, pasan de impartir conocimientos en el aula a ser mediadores y dinamizadores de la actividad educativa, trabajan en equipo y producen recursos (documentos, guías, materiales de apoyo) que sirven de soporte a los contenidos, a las actividades, a la evaluación, que deben contener referencias e indicadores del progreso dl aprendizaje y que en todo caso le debe permitir tomar decisiones sobre la orientación de su acción...  Aumentan su capacidad de intervención y de cambio en función de las necesidades que detectan y de las señales que perciben. Si la formación se basa en redes la acción del profesor se caracteriza además porque ve aumentado su capacidad de organizar los recursos (establece espacios, redes, enlaces,...).
Los recursos con este condicionante deben integrar elementos que permitan el autoaprendizaje interactivo (que los hagan más autoinstructivos) y la autoevaluación deben incluir elementos que permitan integrar las intervenciones de los demás (compartir, adicionar, etc.). Deben integrar elementos que permitan al alumno percibir su progreso en el aprendizaje y efectuar eventualmente cambios o correcciones a partir de la interacción.

            En definitiva un sistema será tanto más interactivo cuanto más posibilite el diálogo de los individuos entre sí ---de los alumnos con los profesores, de los alumnos con los alumnos, de los profesores con los alumnos y entre ellos,...--- o con el sistema de manera que cada intervención encuentre una respuesta en función de su naturaleza, y que esta sea diferenciada e inmediata. 


Indicadores en el cuestionario