El pasado día
19 aparecieron las métricas de
Google Scholar en su edición de 2019. Se hicieron públicas en el blog
de Anurag Acharya.RED Revista de
Educación a Distancia aparece en la
lista de revistas que se publican total o parcialmente en español con un
índice H5=20[1]
y con una Mediana H5=37[2] . La posición en la lista
es la revista número 37[3].
En la edición
anterior estos datos eran H5=17 y
Mediana H5=41. La posición era la 42.
Como en años
anteriores vamos a hacer algunas consideraciones respecto a este tema. Algunas
generales y otras con respecto a nuestra revista.
En la
actualidad hay distintos índices y listas para valorar la producción, la
calidad y la posición relativa entre ellas, de las revistas científicas. Google Scholar
Metrics (GSM) y el indicador H5 tienen indudables imitaciones que de sobra han
sido expuestas en otros trabajos. La más notable es la vulnerabilidad a cierto
tipo de fraude, consistente en introducir trabajos, autores y publicaciones
ficticias. Ello es fácil de corregir, porque aunque en una primera edición estos
trabajos solo sufren el filtro de autómatas, mediante criterios exclusivamente
formales, después son rápidamente detectados y corregidos. Ello es así en buena parte debido a la transparencia del sistema: estos
fraudes son detectados por autores reales, interesados o afectados y denunciados, con la
consiguiente supresión.
Otras veces los datos ficticios son generados por el
propio sistema. Esto sucede por ejemplo con los perfiles de autores
bastardeados (Amezcua, 2018). En este caso corresponde la depuración a los propios autores que son responsables del perfil que han creado.
Otra crítica que se hace a GSM es
que las citas provienen no exclusivamente de revistas, o incluso no sólo de publicaciones de
prestigio, como las de JCR o Scopus, sino que provienen de otras fuentes
habitualmente no admitidas para el cálculo de estos indicadores en otros
rankings, como son las que generan algunos trabajos fin de másteres de calidad, tesis
doctorales, trabajos fin de grado o proyectos de investigación desarrollados
por alumnos en el ejercicio de sus actividades curriculares.
Esto último
para nosotros es un valor. Hay que favorecer la producción investigadora no
solo de autores consagrados y citados sino de autores noveles y de doctorandos
o maestrandos dirigidos debidamente por investigadores seniors.
A ello, a la
consideración de la amplitud de criterios de GSM para aceptar citas, se puede
añadir lo que dice Herzing en su blog en Google
Scholar as a new data source for citation análisis. Artículo muy
importante que incluye críticas sobre GSM a tener muy en cuenta.
En cualquier
caso, aunque no es el tema de este post, para que no se nos diga que no somos constructivos, tenemos una alternativa: somos partidarios con estas limitaciones del indicador H y H5 frente al Impact Factor (IF) o a SJR de SCImago Lab. Esto en todo caso, pero de forma óptima consideramos que un sistema de indicadores no debiera basarse en uno solo. Debiera estar constituido por un conjunto de indicadores que incluyan H5 y H, y que estuviese además dotado de procedimientos para el análisis y prueba de convergencia de los indicadores, como puedan ser los procedimientos que constituyen la propuesta conocida como Ben Martins ‘partial
converging indicators’. (Martin,
1996) (Martin & Irvine,
1983).
Otra crítica que hemos hecho, en particular a la edición
española de GSM (generalizable a otros idiomas distintos del inglés), es la
HETEROGENEIDAD. El mezclar revistas de distintos dominios, modalidades y disciplinas
que tienen dinámicas y características especificas en cuanto a citación, en una
misma lista. No es lo mismo la citación ni son las mismas cantidades de citas las que
tienen revistas de Filosofía y de Medicina, por ejemplo. En el caso español a
esto además se une la existencia de revistas sin una definición clara en su
dominio disciplinar. Cosa que no sucede en inglés donde las revistas están
adscritas por categorías y subcategorías, con rasgos y criterios de definición
claros e inequívocos. Esperamos que no a mucho tardar esto lo arregle GSM.
En cualquier
caso la opacidad, los intereses de las empresas como Clarivate o Elsevier, que
se anteponen a los intereses de la propia investigación en su dinámica y a los
intereses generales de los estados, sociedades e instituciones, hacen
preferible, junto con lo dicho, un sistema basado en el índice H, H5 o
combinado convergentemente con otros.
Estas críticas y alternativas, suficientemente desarrolladas, las hemos expuesto en los artículos "¿Más ayuda a la investigación o más ayuda a Elsevier y Clarivate?", "RED y citación ¿A quién publicamos?" y en la segunda parte de éste, por publicar.
Sobre el carácter
incompleto y parcial de las fuentes de sistemas como SJR y Scopus en relación
con GSM, se ha hablado suficientemente en los trabajos de Martín-Martín, A.,
Orduna-Malea, E., Thelwall, M., & López-Cózar, E. D. (2018). Y en nuestros
materiales para el futuro libro Formación
de investigadores en competencias digitales para la investigación y para la
difusión de la ciencia.
Vamos ahora a analizar los datos de RED en esta
edición de GSM.
1. Evolución de los datos desde 2015, año en que RED entra en el Top100 de GSM
Cuadro y gráfica de la evolución
Con carácter general se puede decir que en todos los indicadores hay una tendencia favorable. Sin embargo, en el año 2017 se observa una discontinuidad, que valoramos como muy favorable, al saltar RED a la posición 17 que rompe la tendencia. Ello se debió al esfuerzo que hicimos en el número 50, donde para celebrar ese número y el XV aniversario recuperamos los artículos más citados que en su momento no habían tenido DOI ni habían estado en los estándares. Eso posteriormente fue aceptado por GS en los casos en que las versiones no estaban normalizadas.
Podemos observar la tendencia y la irregularidad en la tendencia en la siguiente poligonal:
2. RED en la
edición de 2019.-
Ya hemos visto
cuáles son los indicadores de RED esta edición en GSM y su posición en la tendencia
de datos desde 2015.
Sobre ellos no
vamos a insistir. Solo destacaremos el significado de la mediana H5 y la
posición de RED con relación a este indicador.
La mediana H5
como tal mediana es una medida de tendencia central, un promedio en este caso. Pero
no de todos los artículos de RED, sólo del núcleo H5. Es decir de los veinte
artículos que, en el caso de nuestra revista, tienen 20 o más citas. De esta forma si tuviésemos en cuenta sólo esos artículos RED estaría en la posición 15, o 13
exaequo con otras dos:
En el post “RED y citación ¿A quién publicamos?” decíamos que
“(…) hay un alto índice de citación de
los artículos de RED que están en H5, y luego hay otro gran grupo de artículos
y de autores (fundamentalmente noveles y latinos, pero no sólo) que en función
del análisis y de las gráficas siguientes son los que NO SE PUBLICAN (aunque
eventualmente sí se citan) EN SCOPUS NI EN WoS, y que constituyen en Ciencias
Sociales el 53,5% de la producción de publicaciones científicas arbitradas.”
En cualquier caso hay otros indicadores también a tener en cuenta. Posiblemente el más importante para algunos sea el número de citas. Éste y otros los hemos obtenido de Google Scholar a través de la aplicación "Harzing. Publish or Perish":
Aunque normalmente los datos de esta aplicación, como es el caso, varían ligeramente de los de GSM.
3. RED es la
revista científica hispana del Pensamiento Computacional. -
Si entramos en
el núcleo de artículos H5 veremos que, de los 20, los tres primeros y el número 17 son sobre Pensamiento Computacional, y los tres primeros son los más citados
que hemos encontrado en Google Scholar, con 102, 83 y 56 citas respectivamente:
Si escribimos “Pensamiento
computacional en Google Scholar vuelven a aparecer los mismos resultados,
excepto el de JM León, G Robles and MR González que está incluido
atendiendo al identificador en inglés. La conclusión es pues que los artículos más
citados en ese periodo son los de RED.
4. RED
Revista de Educación y de Educación a Distancia
Aunque RED es
una revista que por sus temas podría integrarse en la subcategoría de GSM, si
así se estableciese para las revistas en español, de “Social Sciencesà Educational Tecnology”, engloba todos
los temas de educación y aprendizaje apoyados por la tecnología.
Pero respetando
que inicialmente fue una revista de Educación a Distancia, y que estos 17 años hemos
conservado la cabecera por visibilidad, añadiendo el subtitulo “Educación y
Aprendizaje en la Sociedad del Conocimiento”, podemos ver que posición ocupa
entre las revistas similares. Hemos buscado las que llevan la palabra distance
o distancia en su cabecera y estos son los resultados:
Donde vemos que
RED tiene una aceptable tercera posición a muy poco de nuestra revista hermana
RIED.
Y como revista
de educación, buscando las revistas que incluyen en su título esa palabra
obtenemos:
Y por último
si, como fuera lo natural y deseado estuviese incluida en la subcategoría
Ecucational Technology de Social Sciences, la clasificación global sería:
[1] El
índice h5 es el índice h de los artículos publicados en los últimos 5 años
completos. Se trata del mayor número h tal que h artículos publicados entre
2014 - 2018 tienen al menos h citas cada uno.
[2] La
mediana h5 de una publicación es la mediana estadística del número de citas de
los artículos que componen el índice h5.
[3] En esta
primera versión aparee en el número 38 pero es porque la revista EKS aparece
duplicada en las posiciones con dos nombres diferencytes. Pero es fácil entrar
en el núcleo H de los artículos y ver que son los mismos.
Referencias.-
Amezcua, M. (2018). Autorías bastardas en Google Scholar,
otra expresión de impostura científica. Index de Enfermería, 27(3),
115-117. http://scielo.isciii.es/pdf/index/v27n3/1132-1296-index-27-3-115.pdf
Harzing, A. W. K., & Van der Wal, R. (2008). Google
Scholar as a new source for citation analysis. Ethics in science and environmental politics, 8(1), 61-73. https://www.int-res.com/articles/esep2008/8/e008p061.pdf
Harzing, A. W. (May 2019 ) Google Scholar as a new data
source for citation analysis - (updated Mon 27 May 2019 11:26) Harzing.com Research
in International Management. https://harzing.com/publications/white-papers/google-scholar-a-new-data-source-for-citation-analysis
Martin, B. R., & Irvine, J. (1983). Assessing basic
research: some partial indicators of scientific progress in radio
astronomy. Research policy, 12(2), 61-90. Assessing
basic research: some partial indicators of scientific progress in radio
astronomy. Research policy, 12(2), 61-90.
Martin, B. (1996). The use of multiple indicators in the
assessment of basic research. Scientometrics, 36(3),
343-362.
Martín-Martín, A., Orduna-Malea, E., Thelwall, M., &
López-Cózar, E. D. (2018). Google Scholar, Web of Science, and Scopus: A
systematic comparison of citations in 252 subject categories. Journal
of Informetrics, 12(4), 1160-1177. Journal of Informetrics, vol. 12, no. 4,
pp. 1160-1177, 2018. https://doi.org/10.1016/J.JOI.2018.09.002.
https://osf.io/preprints/socarxiv/42nkm/
, https://arxiv.org/ftp/arxiv/papers/1808/1808.05053.pdf
No hay comentarios:
Publicar un comentario