10 enero 2024

La escasez de originales para el número especial de RED y para otras convocatorias similares pone de manifiesto la ausencia de evidencias sobre el uso de IA en Educación


El próximo día 15 concluye el plazo para presentar trabajos al número especial IA generativa, ChatGPT y Educación. Consecuencias para el Aprendizaje Inteligente y la Evaluación Educativa

Hasta el día de la fecha se han presentado una treintena de envíos. Han superado la revisión previa cinco, los cuatro siguientes, y uno que ha sido desestimado. Un trabajo, además, ha superado la revisión de pares, el resto ha pasado la criba de la revisión editorial y, sin prejuzgar nada, tienen posibilidades de superar la revisión de pares.

Son:

Análisis mediante inteligencia artificial de las emociones del alumnado autista en la interacción social con el robot NAO. VV AA de Universidad de Alicante, España

Machine vs Machine: Large Language Models (LLMs) in Applied Machine Learning High Stakes Exams. VV AA Faculty of Computing, Digital and Data, TU Dublin, Dublin, Ireland.

La autorregulación del aprendizaje desde un enfoque de feedback entre pares: perspectivas de la IA generativa/Self-regulation of learning from a peer feedback approach: insights from generative AI. VV AA Universitat Oberta de Catalunya, Barcelona. España.

The use of social robots as teaching assistants in education: possibilities and threats. VV AA Universidad de Zagreb.

De entre los desestimados en la fase editorial la mayoría no se ajustan a las condiciones de la convocatoria. Se deseaba que se presentasen investigaciones empíricas de cómo las tecnologías y herramientas de la IA descritas modificasen significativamente, o no, el aprendizaje y qué formas de diseño educativo lo promovían. En ningún caso, y ante la ausencia de investigaciones empíricas, se ha pensado en completar el número con revisiones de la literatura o con ensayos exegéticos, al menos que no tuvieran un sustento empírico.

Citamos a modo de ejemplo los resúmenes de algunas de las rechazadas:


 

Todo ello nos confirma lo dicho en otros posts y preprints. En particular en el post de Hypotheses Inteligencia Artificial y Educación ¿dónde estamos?, donde, en la parte II, se dice:

En el día de hoy, revisando plataformas de edición científica (Scopus-Elsevier, WoS, Google Scholar) no he encontrado investigaciones rigurosas y terminantes de ventajas en el aprendizaje, no en destrezas instrumentales como puedan ser la ayuda a la redacción, que habría que ver si es útil para la adquisición de esa destreza o contraproducente, sino en aspectos centrales, los que definen Merrill o Gagné como principios principales del aprendizaje. Por el contrario, he encontrado artículos de dudosa buena práctica investigadora, pese a haber superado la revisión de pares. Como por ejemplo estos:

 Para citar a continuación tres casos significativos que merecen la pena si no leerse completamente sí leer la reseña.

En ese post también decíamos algo que es igualmente válido ahora:
Resumiendo, sobre esas evidencias y buenas prácticas, que no existen prácticamente o no existen de forma consistente y fiable, estamos buscando información. También las revistas y las instituciones públicas o de investigación lo ven como una urgencia. En este sentido podemos señalar cinco iniciativas.

1

RED. Convocatoria de un número especial titulado IA generativa, ChatGPT y Educación. Consecuencias para el Aprendizaje Inteligente y la Evaluación Educativa / Generative AI, ChatGPT and Education. Consequences for Intelligent Learning and Educational Assessment. Se plantean las consecuencias frente a dos posibles escenarios y sus consecuencias. El primero se derivan de que la IA tenga el potencial de revolucionar los métodos de enseñanza, la evaluación y la ayuda al alumno, existentes. El segundo el que la IA tenga la capacidad de crear un sistema educativo completamente nuevo. 

Otras cuestiones que se plantean ahora como interrogantes son: Cuáles son los impactos que se producirán cuando la IA comience a servir como un socio activo en acciones sociales, creativas e intelectuales sostenidas a lo largo del tiempo, no sólo puntuales o como repuesta a preguntas aisladas, que es lo que ahora más frecuentemente se hace. En este momento esos impactos en las prácticas, los que puedan existir, son desconocidos. También se plantgea cómo del impacto de una dependencia excesiva, en los sistemas de IA en la educación, se podría derivar una disminución de muchos de los rasgos que nos hacen humanos. En este caso la pregunta es si ese impacto contribuiría a una disminución de la formación “humana” de los alumnos. Entre esos rasgos se incluyen la autorregulación, la metacognición, la orientación a objetivos, la planificación, las tormentas de ideas creativas y una variedad de habilidades que podrían verse afectadas negativamente por la automatización o la toma de control de las máquinas.

2

Computers and Education: Artificial Intelligence. Special issue Exploring the Nexus of Generative AI and Language Education: Opportunities, Challenges, and Innovations, es la Segunda iniciativa

3

International Journal of Educational Technology in Higher Education (IJ of ETHE). Especial interés tiene el caso de New advances in artificial intelligence applications in higher education , que inicialmente entendí que se convocó como un número especial de ETHE y ahora es una colección de artículos, pero con un artículo solo, porque la recepción de originales se cerró.



El único trabajo aceptado, AI-generated feedback on writing: insights into efficacy and ENL student preference, consta de dos interesantes estudios longitudinales, el segundo de los cuales es un self report study sobre el primero, pero más que propiamente un análisis sobre aprendizaje es sobre evaluación. Ésa es la única conclusión en sentido positivo, las otras son que no se pueden establecer preferencias claras.

UK Generative AI in education Call for Evidence: summary of responses.  El Departamento de Educación lanzó en verano pasado (para recoger datos entre el 14 de junio y el 23 de agosto de 2023) una Convocatoria de Evidencia sobre el uso de Inteligencia Artificial Generativa (GenAI) en educación. Solicitaba opiniones y experiencias de profesionales de todas las etapas de la educación, así como del sector de tecnología educativa (EdTech), se refiere al sector de investigación, y a expertos en inteligencia artificial (IA). En este caso no se trata de lanzar solo una convocatoria sino de recoger lo que ya existe en la práctica y en la investigación.

Las respuestas que se obtuvieron, y sobre las cuales se abre una fase de evaluación, revelaron una amplia gama de usos de la tecnología GenAI con fines educativos.

Para un posterior análisis, las aplicaciones identificadas entre los docentes se han agrupado en los siguientes siete temas clave según los casos de uso:

  •   Creación de recursos educativos
  •   Planificación de unidades y planes de estudios
  •   Uso “en vivo” en las lecciones
  •   Evaluación, calificación y retroalimentación
  •   Tareas administrativas
  •   Capacitación en habilidades GenAI y alfabetización en IA.
  •   Investigación

 

5

El British Journal of Educational Technology  publica en septiembre de 2023 una sección especial  en su número orinario, fechada en mayo de este año,  con el título, que también recibe el editorial, Advancing theory in the age of artificial intelligence. Son diez artículos que se explican en el editorial, así como las conclusiones, que utilizaremos en este trabajo. Sus autores y editores son Dawson, Joksimovic, Mills, Gašević y Siemens. Destacamos que Gašević es también editor del especial de Computers and Education: Artificial Intelligence, reseñado en primer lugar y del trabajo que también reseñamos sobre la vigencia del aprendizaje humano por refuerzo.

Esperemos que estas iniciativas nos den como resultado el panorama real de la investigación y de lo evidenciado sobre GenA, LLM y ChatGPT y su influencia en el aprendizaje de los alumnos.

Fin de la cita.

La ausencia de investigaciones lleva a autores como Donal Clark a mencionar como ejemplo un artículo, supongo que como respuesta a los que pedimos pruebas. Compartió en un tuit un artículo de una supuesta rigurosa investigación. En el post textualmente dice “las explicaciones basadas en LLM impactaron positivamente el aprendizaje”.

Pero, si nos vamos a las conclusiones del artículo ya expuestas desde el abstract, lo que establecen es que “la exposición a explicaciones de LLM aumentó la cantidad de personas que SENTÍAN QUE HABÍAN APRENDIDO y disminuyó la DIFICULTAD PERCIBIDA de los problemas del test.”

Es lo que decimos: no hay evidencias clara, hasta ahora, sobre IA generativa y aprendizaje, solo self report studies y revisiones de exégesis de revisiones de literatura, que se multiplican y aumentan citas e impacto ad nauseam.

Tres de los cuatro autores son de Microsoft Research ¿Casualidad?

Se trata de un preprint (Kumar, Rothschild, Goldstein and Hofman, November 22, 2023) de la prestigiosa plataforma SSRN de Elsevier.

Para no ser totalmente pesimista habría que reseñar lo que se dice en el apartado III del post de Hypotheses, hay una esperanza en campo de las practicas con genAI y las conclusiones que de ahí se obtienen. En ese sentido citábamos el trabajo de Korinek (2023), que  no sería un trabajo muy importante si no fuera porque no hay muchos otros. Es el único empírico que he podido localizar.

Básicamente, según el propio autor, en él “informa de su calificación subjetiva sobre qué tan útiles encontró las capacidades LLM descritas al 1 de febrero de 2023”. Se refiere a las prácticas que él mismo hizo y con las que elaboró un estudio personal de 25 casos de uso de ChatGPT en 25 prácticas que él hizo y su opinión sistematiza en categorías sobre ellas.

Sobre esa propuesta, quien suscribe ha hecho otra, tomándola como referencia.

Pero volviendo al tema inicial, cabe decir que quienes quieran contraargumentar estas ideas y conclusiones, al margen de que por ser de urgencia son incompletas y posiblemente con fallos, lo mejor que podrían hacer es demostrar el movimiento andando y poner en marcha investigaciones consistentes evidenciando lo que los LLM y la genAI puede ayudar al aprendizaje y en la Educación.

Da poco tiempo para registrar contribuciones en RED, pero si no hay suficientes o si alguien lo demanda para registrarlas, ampliaremos el plazo de recepción de originales.

REFERENCIAS

Korinek, A. (2023). Language models and cognitive automation for economic research (No. w30957). National Bureau of Economic Research.

Kumar, Harsh and Rothschild, David M. and Goldstein, Daniel G. and Hofman, Jake (November 22, 2023). Math Education with Large Language Models: Peril or Promise? SSRN preprintAvailable at SSRN: https://ssrn.com/abstract=4641653 or http://dx.doi.org/10.2139/ssrn.4641653

Merrill, M. D. (2002a). First principles of instruction. Educational technology research and development50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf

Merrill, M. D. (2012). First principles of instruction. John Wiley & Sons.

Merrill, M. D. (1991). Constructivism and instructional design. Educational technology31(5), 45-53.

Merrill, M. D. (2002b). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59.  Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.

Merrill, M. D. (2009). First Principles of Instruction. In C. M. Reigeluth & A. Carr (Eds.), Instructional Design Theories and Models: Building a Common Knowledge Base (Vol. III). New York: Routledge Publishers.

  

08 enero 2024

IMPORTANTE DECISIÓN Y NOVEDAD EN RED


ChatGPT, respuesta a la pregunta Can you tell me about RED Distance Education Journal and its position in Scopus CiteScore el 8 de enero de 2024



RED. Revista de Educación a Distancia establece la necesidad de que los autores declaren que NO UTILIZAN programas de IA declarativa (como ChatGPT, por ejemplo) o lo hacen sólo mediante referencias y citas, si es objeto de investigación, tal como establece APA 7.0

Pueden verlo en el apartado de Envios, guías para los autores y en Información para el autor:


Credit: Olga Yastremska/Alamy, Gabby Jones/Bloomberg via Getty and Nature


04 octubre 2023

Las revistas científicas españolas en los rankings de Educación. Índices de calidad de 2023

 

Datos de RED (portada de la revista)



CiteScore (Scopus) 2022, publicado en junio de 2023

Total de revistas internacionales indexadas 1469.
Total de revistas españolas indexadas 51.

RED, en Q1, se ritúa entre las diez primeras revistas cientificas españolas en Educación
Y la segunda en Educación apoyada por la tecnología.

SJR (Scimago Journal Rank) - 2022. Publicado en 2023

Total de revistas internacionales indexadas 1438.
Total de revistas españolas indexadas 55.

RED, en Q2, se ritúa entre las diez primeras revistas cientificas españolas en Educación
Y la segunda en Educación apoyada por la tecnología.

Journal Citation Reports (JCR - JCI) - 2022. Publicado en 2023- ESCI+CSSI

Total de revistas internacionales indexadas 600.
Total de revistas españolas indexadas 46.


RED se sitúa en la posición 13 de revistas científicas españolas de Educación y la tercera entre las dedicadas exclusivamente a Educación apoyada por la tecnología (Educación a Distancia, elearning, pensamiento computacional, aprendizaje con IA, etc)

Journal Citation Reports (JCR - IF) - 2022. Publicado en 2023- ESCI+CSSI

Total de revistas internacionales indexadas 600.
Total de revistas españolas indexadas 46.

RED se sitúa en la posición 13 de revistas científicas españolas de Educación y la tercera exaequo entre las dedicadas exclusivamente a Educación apoyada por la tecnología (Educación a Distancia, elearning, pensamiento computacional, aprendizaje con IA, etc).

14 junio 2023

RED en Scopus: CiteScore 2022


En una entrada anterior reseñábamos los resultados de nuestra revista en SJR de SCImago.

El día 9 pasado se hicieron públicos los de Scopus, a través de su indicador CiteScore.

La novedad más importante es que hemos promocionado de cuartil, hemos subido desde Q2 (centil 73) a Q1 (centil 76)


La segunda novedad es que, después de solicitarlo insistentemente durante mucho tiempo, finalmente Scopus nos incluye en cuatro
categorías, la clásica de Ciencias Sociales - Educación, y en tres más: Ingeniería - Miscelánea, Ciencias de la Computación - Aplicaciones y Ciencias de la Computación - Miscelánea. De forma similar pero más restringida, en SJR incluyeron a RED en Ciencias Sociales - Aplicaciones además de en Educación.

Las razones que alegamos las expusimos en su momento en varios sitios.

Pero antes que nada recordemos qué era CiteScore.

En primer lugar hay que aclarar que CiteScore es uno de los dos indicadores que actúan sobre una misma base de datos de artículos y publicaciones: SCOPUS y que es elaborado por la empresa Scopus-Elsevier, la misma propietaria de la base de datos. El otro indicador es SJR, que ya vimos, está definido y calculado por la empresa SCImago, sobre los datos de la base de datos SCOPUS.

Definición. –

El CiteScore (CS) de una revista científica es una medida que refleja un promedio anual de citas de artículos recientes publicados en esa revista. El CiteScore se publica cada año en la primera quincena de junio, con datos computados hasta el 5 de mayo, y toma como referencia para su cálculo el año natural que ha concluido cuando se publica y los tres anteriores (cuatro años). Esta métrica de evaluación de revistas fue lanzada en diciembre de 2016 por Elsevier-Scopus como una alternativa a los llamados factores de impacto, de los cuales el más conocido es IF- JCR, calculado por Clarivate-Wos. CiteScore se basa en las citas registradas en la base de datos Scopus, los de Clarivate - JCR toman como base de datos la de WoS, y esas citas se recopilan para artículos publicados en los cuatro años anteriores en lugar de dos o cinco.

Cálculo

Para un año dado (y), el CiteScore de una revista de ese año (Scopus, 2021) es el número de citas, recibidas en ese año y en los 3 años anteriores, por los documentos publicados en la revista durante ese período (cuatro años), dividido por el número total de documentos publicados (artículos, revisiones, artículos de conferencias, capítulos de libros y artículos de datos) en la revista durante el mismo período de cuatro años: 

{\displaystyle {\text{CS}}_{y}={{\text{Citas}}_{y}+{\text{Citas}}_{y-1}+{\text{Citas}}_ {y-2}+{\text{Citas}}_{y-3} \over {\text{Publicaciones}}_{y}+{\text{Publicaciones}}_{y-1}+{\text {Publicaciones}}_{y-2}+{\text{Publicaciones}}_{y-3}}}

 

Por ejemplo, RED ha obtenido un CiteScore 2022, publicado en junio de 2023, de 23,7:


Los cómputos de este índice como los de los demás, se hacen de enero a diciembre. Y todo el proceso de cálculo y correcciones se hacen de enero a mayo.  Las adiciones, correcciones o eliminaciones posteriores de los datos no darán lugar a una actualización de la puntuación hasta la siguiente edición.

 

CiteScore Tracker

Scopus también proporciona los CiteScores proyectados para el próximo año, que se actualizan cada mes. Son los CiteScore Tracker. Es una simulación del cálculo de CiteScore que se publica en los primeros días de cada mes con fecha del 5.

 


 

En la categoría Ciencias Sociales - Educación, homologadas por Scopus en todo el mundo, hay 1469 revistas. De ellas RED ocupa la posición 348 en la versión CiteScore de 2022, hecho público en junio de 2023. Eso quiere decir que RED está en el centil 76, en la lista de revistas ordenadas por su mejor cuartil (the best quartile). 

RED en Educación está en por delante del 76% de las revistas. Y por encima de ella tiene al 23 y pico por ciento.

Si en vez de ordenarlas por el mejor cuartil las ordenásemos por el índice CiteScore en Educación estaría en una posición mejor. Esto se puede comprobar bajando la hoja de cálculo que facilitan y ordenando por esa columna. 




RED

POSICIÓN en Scopus

CiteScore 2022:

#/total

Centil

Cuartil

Social Sciences

Education

#348/1469

76th

Q1

Computer Sciences

Computer Sciences Applications

#357/792

54th

Q2

Computer Science

Computer Science (miscellaneous)

#38/103

63rd

Q2

Engineering

Engineering (miscellaneous)

#50/151

67th

Q2



Es interesante comparar las puntuaciones y posiciones de RED en SJR y en CiteScore:

 

 RED

SJR 2022

CiteScore 2022

 

 

#/total

Centil

Cuartil

#/total

Centil

Cuartil

Social Sciences

Education

#487/1438

67

Q2

#348/1469

76th

Q1

Computer Sciences

Computer Sciences Applications

#357/782

55

Q2

#357/792

54th

Q2

Computer Science

Computer Science (miscellaneous)

 

 

 

#38/103

63rd

Q2

Engineering

Engineering (miscellaneous)

 

 

 

#50/151

67th

Q2

La ponderación de Scimago sobre citaciones, por su metodología, hace que 39 revistas por lo menos pasen por delante de RED en Educación. No así en CS Applications.

Posiblemente, de no ser así, RED estaría en Q1 de SJR. Por lo demás, otras cuestiones reseñables son, por ejemplo, que

En Scopus hay cuatro revistas de Ingeniería (realmente dos) con contenidos de Educación. RED está en Q2 en esta especialidad y es la primera. Llamamos a los investigadores de Ingeniería del Aprendizaje y del Conocimiento a presentar contribuciones.


Y que las revistas de Educación a Distancia del mundo que están en el primer cuartil, según CiteScore, son