Autoevaluación de la calidad de programas de educación universitaria virtual, articulo de RED por Marciniak y Gairín.

Con este post continuamos hablando de los artículos incluidos en el último número de RED. Se trata del artículo de los profesores de la  Universidad Autónoma de Barcelona Renata Marciniak y Joaquín Gairín Sallán, titulado Un modelo para la autoevaluación de la calidad de programas de educación universitaria virtual. Con ellos contribuimos a cumplir los objetivos de nuestra revista reseñados en los posts anteriores y que la sitúan con propiedad en el tema del que es titular, el que viene denominado en GSM como Social SciencesàEducational Technologly

Joaquín Gairín Sallán es un tótem, en el mejor sentido de la palabra, en todo lo que respecta a organizaciones educativas, su sentido y conformación, a las que considera contextos donde se desarrollan culturas específicas. Tuve ocasión de conocerlo en estas lides cuando coordiné unos cursos que fueron pioneros en la formación abierta on line para la función directiva docente, en el que él participó, allá por los años 90.

En el panorama actual faltaba alguien que penetrase bajo esa perspectiva en las organizaciones universitarias que se generan en torno a la docencia virtual universitaria. Esperamos su colaboración en futuras ediciones de RED que traten esos temas.

Mientras tanto ahora nos presenta un trabajo, en coautoría con Renata Marciniak, que está llamado a ser un hito en la calidad centrada en la enseñanza y en el aprendizaje de la educación virtual universitaria.  Se trata de un modelo de autoevaluación, lo cual lo constituye en una propuesta al alcance de cualquier equipo docente o de diseño instruccional que se constituya en torno a un programa formativo de educación universitaria en esta modalidad, en cualquiera de las opciones en vigencia: Estudios online formales de grado o postgrado que incorporen en alguna de sus modalidades o fases esta educación, cursos de extensión universitaria o MOOC.

No hace falta decir que la evaluación de la calidad se ha convertido en un imperativo planteado por las agencias de evaluación universitaria y por la sociedad tanto en la parte que concierne a estudiantes y familias, como a los distintos nodos de la producción y de los servicios, desde la perspectiva del rendimiento.

La originalidad del trabajo de Marciniak y Gairin, además de ser una propuesta de autoevaluación, es que se basa en el modelo general de Serramona y Gairin que contempla la evaluación de la calidad propia del programa y su evaluación continua, y lo aplica a la enseñanza virtual. Así el objetivo del artículo que nos presenta nos propone “un modelo aplicativo para la autoevaluación de programas de educación universitaria virtual, que integra los dos tipos de evaluación y de esta manera permite evaluar la calidad tanto de los elementos pedagógicos y tecnológicos que constituyen un programa virtual como cada una de las tres fases de su aplicación: la fase inicial, de desarrollo y la fase final”.

Por otra parte, los autores nos comunican el análisis empírico que han utilizado para la validación del modelo.  Que ha supuesto el análisis en varios momentos de los programas analizados y la implicación de 23 expertos internacionales. El modelo se ha experimentado en cuatro programas virtuales.

El trabajo supone un análisis de los modelos existentes, lo cual supone además de los valores propios del estudio y del modelo, un importante estado del arte a disposición de la comunidad investigadora del tema

De esta forma la tabla 1 del artículo (Marciniak y Gairín, 2017) recoge como conclusión de ese análisis del estado de la cuestión los elementos que, según otros autores, se deberían tener en cuenta a la hora de diseñar un programa formativo virtual.

Autor	Elementos del programa virtual
Meza (2012)	·      Aspectos específicos del programa ·      Temas y objetivos ·      Actividades de aprendizaje ·      Evaluación del aprendizaje ·      Tutoría virtual
Mery y Newby (2014)	·      Necesidades de los estudiantes ·      Objetivos formativos ·      Competencias ·      Contenidos ·      Material didáctico ·      Actividades de aprendizaje ·      Evaluación del aprendizaje ·      Evaluación del programa
Shattuck (2014)	·      Aspectos específicos del programa (nombre, duración, justificación) ·      Objetivos y contenidos ·      Materiales multimedia e interactivos ·      Actividades de aprendizaje ·      Evaluación del aprendizaje ·      Tutorías
Barnard y Echols (2015)	·      Perfil del estudiante ·      Contenidos temáticos ·      Estrategias de aprendizaje ·      Características de tecnología educativa utilizada ·      Evaluación del aprendizaje
Zapata (2015)	·      Objetivos y epítome ·      Unidades ·      Guías docentes y guías didácticas de las unidades ·      Materiales para cada unidad ·      Tipos y funciones de los profesores
Boettcher y Conrad (2016)	·      Objetivos y metas a alcanzar, ·      Recursos didácticos. ·      Acciones de aprendizaje. ·      Estrategias de evaluación de aprendizaje.
Rushby y Surry (2016)	·      Datos curriculares ·      Objetivos generales de aprendizaje ·      Contenidos del programa ·      Actividades del aprendizaje ·      Fuentes de información ·      Herramientas de comunicación y el uso de los medios ·      Evaluación del aprendizaje

Con ellos y con el análisis de las directrices de HECQ (1997) establecen las indicaciones sobre los elementos del programa formativo virtual que debe abarcar el programa virtual:

·         Objetivos y competencias de aprendizaje;

·         Estrategias de enseñanza;

·         Contenido temático;

·         Materiales y recursos didácticos;

·         Actividades de aprendizaje;

·         Estrategias de evaluación del aprendizaje.

Especial relevancia es el análisis que hacen sobre Modelos de referencia de autoevaluación de programas formativos virtuales, en el apartado del mismo título. No podemos en esta reseña entrar en la descripción de ese análisis. Lo único que podemos decir es que es exhaustivo. Es un conjunto de informaciones organizadas, analizadas y estructuradas de uso imprescindible para quien quiera estudiar la evaluación de la calidad en programas de docencia virtual universitaria.

Su modelo es pues un modelo se síntesis: a partir del análisis que hacen, integran en su propuesta de forma armónica los elementos que obtienen, que vemos en el cuadro comparativo de los elementos que evalúan en los modelos analizados

Modelo Elemento de Programa

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Justificación del programa

x

Objetivos del programa

x

x

x

x

x

x

x

x

Perfil del estudiante

x

x

x

x

x

x

x

x

x

Contenidos temáticos

x

x

x

x

x

x

x

x

x

Actividades de aprendizaje

x

x

x

x

x

x

x

x

x

x

Perfil de los docentes en línea

x

x

x

x

x

x

x

x

Tutorías

x

x

x

x

Materiales y recursos didácticos

x

x

x

x

x

x

x

x

x

x

x

x

x

Metodologías de enseñanza y aprendizaje

x

x

x

x

x

x

x

x

Evaluación del aprendizaje

x

x

x

x

x

x

x

x

x

x

x

Plataforma virtual

x

x

x

x

x

x

x

x

Evaluación de la fase inicial del programa

x

x

x

x

x

x

x

Evaluación de la fase de desarrollo del programa

x

x

x

x

x

Evaluación de la fase final del programa

x

x

x

x

x

x

x

x

x

Explicación: 1- Sarramona, 2001; 2-Fidalgo, 2007; 3-Marshall, 2007; 4-Marcelo y Zapata, 2008; 5-Ejarque et al. 2008; 6-UW, 2008; 7-Díaz-Maroto, 2009; 8-SEA, 2010; 9-CALED, 2010; 10-OLC; 2011; 11- Masoumi y Lindström, 2012; 12-Zhang y Jiang, 2012; 13-Giorgetti et al., 2013; 14-AVU, 2014; 15-EADTU, 2016.

En lo siguiente exponen la investigación realizada y por último concluyen, como modelo autoevaluativo y por tanto centrado en lo que se conoce en las teorías y modelos educativos sobre evaluación formativa, en ofrecer a los gestores y agentes de la formación virtual una propuesta sistémica para la evaluación de la calidad de su propuesta. Así (Marciniak y Gairín, 2017) dicen “el  modelo de autoevaluación que se propone integra la evaluación de todos los elementos que constituyen un programa formativo virtual (evaluación de la calidad del propio programa) con la evaluación continua del mismo, es decir, las tres fases por las que el programa pasa durante su existencia”.

Este modelo está constituido por las catorce dimensiones que hemos visto antes, de las cuales once sirven para evaluar el nivel de calidad de los elementos pedagógicos y tecnológicos que configuran el programa y tres dimensiones sobre el proceso.

Las conclusiones sirven pues para analizar, comparando su modelo con los otros propuestos, y asumir los aspectos comunes e integrar dimensiones divergentes.

Referencias.-

Barnard, D. y Echols, J. (2015). The Anatomy of K-12 Online Programs: Practical Ideas and Guidelines. London: Rowman and Littlefield.

Boettcher, J. V. y Conrad, R. M. (2016). The Online Teaching Survival Guide: Simple and Practical Pedagogical Tips. London: John Wiley and Sons.

Butcher, N. y Wilson-Strydom, M. (2013). A guide to quality in online learning. Dallas TX: Academic Partnerships.

CALED (Instituto Latinoamericano y del Caribe de Calidad en Educación Superior a Distancia). (2010). Guía de autoevaluación para programas de pregrado a distancia. Loja: CALED.

CEN (Comité Europeo de Normalización). (2007). CWA 15660:2007, Providing good practice for E-Learning quality approaches. Brussels: CEN.

CIEES (Comités Interinstitucionales para la Evaluación de la Educación Superior). (2008). Metodología General para la Evaluación de Programas de Educación Superior a Distancia. México D.F.: CIEES.

Díaz-Maroto, I. T. (2009). Formación a través de internet: evaluación de la calidad. Barcelona: UOC.

Domínguez Castillo,  J. G. y Morcillo Baquedano, J. S. (2016). Evaluación de un curso en línea para la formación de competencias en el uso de las TIC en profesores de ciencias de secundarias públicas del sureste de México. RED. Revista de Educación a Distancia, 51. Recuperado de DOI: http://dx.doi.org/10.6018/red/51/2

EADTU (European Association of Distance Teaching Universities). (2016). Quality Assessment for E-learning: a Benchmarking Approach. Third edition. Maastricht: EADTU.

EFMD (European Foundation for Management Development). (2006). EFMD CEL Criteria, Indicators and Standards. Recuperado de https://www.efmd.org/accreditation-main/equis/116-accreditation/cel

ENQA (European Association for Quality Assurance in Higher Education). (2015). Standards and Guidelines for Quality Assurance in the European Higher Education Area. 3rd edition. Brussles: EURASHE.

EFQUEL (European Foundation for Quality in eLearning). (2010). Handbook y Quality Criteria Toolkits: Open ECBCheck Initiative. Recuperado de https://quality4digitallearning.org/open-house/handbook-quality-criteria-toolkits-open-ecbcheck-initiative/

Ehlers, U. (2013). Open Learning Cultures: A Guide to Quality, Evaluation, and Assessment for Future Learning. Berlin: Springer-Verlag.

Ejarque González, E., Buendía García, F. y Hervás Jorge, A. (2008). Aplicación de un modelo de calidad para evaluar experiencias e-learning en el Espacio Europeo Universitario. EDUCAR, 41, 11-28.

Fidalgo, A. (2007). Micro Guía de Indicadores para el elearning. Madrid: Universidad Politécnica de Madrid.

Gairín Sallán, J., Díaz-Vicario, A., Rosales Acín, M. y Sentinella Solé, X. (2014). La autoevaluación para la mejora de la seguridad integral en centros educativos. EDUCAR, 50(2),  363-381.

Giorgetti, C. G., Romero, L. y Vera, M. (2013). Diseño de un modelo de evaluación de la calidad específico para EaD. Revista de Universidad y Sociedad del Conocimiento (RUSC), 10(2), 54-68. Recuperado de https://link.springer.com/article/10.7238/rusc.v10i2.1742

HECQ (Higher Education Compliance and Quality). (1997). Guidelines for Distance Education. London: HECQ.

Kirkpatrick, D. L. (2007). Evaluación de acciones formativas: los cuatro niveles. 3^ra edición. Barcelona: Gestión 2000.

Marcelo, C. y Zapata, M. (2008). Cuestionario para la evaluación: “Evaluación de la calidad para programas completos de formación docente a través de estrategias de aprendizaje abierto y a distancia". Metodología de uso y descripción de indicadores. RED, Revista de Educación a Distancia. Número monográfico VII, 1-31. Rcuperado de http://www.um.es/ead/red/M7/

Marciniak, R. (2016). Autoevaluación de programas de educación universitaria virtual (Tesis doctoral). Universitat Autònoma de Barcelona: Barcelona.

Marciniak, R. (2015). A methodological proposal for applying international benchmarking to evaluating the quality of higher virtual education. RUSC. Universities and Knowledge Society Journal, 12(2), 46-60. Recuperado de http://rusc.uoc.edu/rusc/ca/index.php/rusc/article/view/v12n3-marciniak/2650.html

Marciniak, R., y Gairín, J. (2017). Un modelo para la autoevaluación de la calidad de programas de educación universitaria virtual. RED. Revista de Educación a Distancia, 54. Consultado el (dd/mm/aaaa) en http://www.um.es/ead/red/54

Marshall, S. (2007). Development and Evolution of an E-Learning Maturity Model. Recuperado de http://www.cad.vuw.ac.nz/wiki/images/a/a9/2006EducaMarshalleMMAbstract.pdf

Masoumi, D. y Lindström, B. (2012). Quality in e‐learning: a framework for promoting and assuring quality in virtual institutions. Journal of Computer Assisted Learning, 28(1), 27‐41.

Mery, Y. y Newby, J. (2014). Online by Design: The Essentials of Creating Information Literacy Courses. Plymouth: Rowman y Littlefield.

Meza, J. (2012). Modelo pedagógico para proyectos de formación virtual. Bonn: GIZ.

OLC (Online Learning Consortium). (2011). The OLC Quality Scorecard for the Administration of Online Programs. Recuperado de https://onlinelearningconsortium.org/consult/olc-quality-scorecard-administration-online-programs/

Rushby, N. y Surry, D. 2016. Wiley Handbook of Learning Technology. New York, John Wiley and Sons.

Sarramona, J. (2001). Evaluación de programas de educación a distancia. RIED - Revista Iberoamericana de Educación a Distancia, 1(1), 1-24. Recuperado de http://revistas.uned.es/index.php/ried/article/view/1189

SEA (Stowarzyszenie e-learningu Akademickiego) [Asociación de E-learning Académico de Polonia]. (2010). Kryteria oceny kursu/programu e-learningowego [Criterios de evaluación del curso/programa virtual]. Recuperado de http://www.sea.edu.pl/kryteria/?page=obszary

Shattuck, K. (2014). Assuring Quality in Online Education: Practices and Processes at the Teaching, Resource, and Program Levels. Sterling: Stylus Publishing, LLC

UW (University of Wisconsin). (2008). Logic Model. Recuperado de http://fyi.uwex.edu/programdevelopment/logic-models/

Zapata-Ros, M. (2015). Calidad en enseñanza abierta online universitaria: del aula virtual al MOOC. Campus Virtuales, 4(2), 86-107. Recuperado de https://issuu.com/revistacampusvirtuales/docs/7

Zapata-Ros, M. (2006). Distintas formas de intervenir en la distancia y en el eLearning Los modelos de calidad. RED. Revista de Educación a Distancia, núm. 16, 1-5. Recuperado de http://revistas.um.es/red/article/view/24231/23571

Zhang, W. y Jiang, L. (2012). Quality Assurance in E-Learning: PDPP Evaluation Model and its Application. The International Review of Research in Open and Distance Learning, 13(3), 66-82. Recuperado de http://www.irrodl.org/index.php/irrodl/article/view/1181