10 octubre 2021

Analizando y fijando posiciones respecto de tendencias actuales en métricas, indicadores y plataformas de calidad de la edición científica.

 





Hace más de quince años la edición abierta, el “open Access”, era una referencia y así lo constatamos y lo suscribimos en RED (Friend, 2005) (Zapata-Ros, 2008 y 2011)

Hoy día es una expresión vacía de contenido, en el sentido de que por sí sola no garantiza los principios enunciados en esos trabajos, ni otros surgidos posteriormente, que se han manifestado igualmente necesarios (necesidad de garantizar el autoarchivo, reducir el autoembargo, etc).

La evolución de los hechos ha desembocado pues en una situación, la actual, en la que ese criterio y esa identificación no aporta nada en los anhelos entonces sentidos porque:

a)    Ante la presión de los países y de las administraciones que gestionan la investigación y las universidades, las grandes corporaciones han accedido en muchos casos a convertir sus publicaciones al acceso abierto pero estableciendo la modalidad de financiación de los artículos exclusivamente mediante las  APCs: Article Processing Charges. Ahora no pagan los usuarios de los artículos, pagan los autores. Antes, algunos pagaban también pero ahora las APC se han multiplicado por cinco y hasta por diez para garantizar el acceso abierto.

b)    Bajo el denominador de acceso abierto hay revistas depredadoras (las APC son el negocio)

c)     Amparadas por ese calificativo también se han colado revistas de muy baja calidad que, sin control y con estándares ficticios, trabajan temas considerados acientíficos o paracientíficos, como son en el campo de Ciencias Sociales - Educación, algunos  mitos educativos, entre los que están, por ejemplo, “inteligencias múltiples”, conectivismo, “estilos de aprendizaje”, “nativos digitales”, visiones educativas socioculturales, …  Actualmente son una plaga los “self report studies” (encuestas que consideran como un indicador de calidad en el aprendizaje la satisfacción o la percepción de los alumnos, muchas veces en contradicción con lo que dicen las teorías y los principios del aprendizaje). Para tener idea del volumen de estos fenómenos se pueden ver los trabajos de Martín-Martín, A., Thelwall, M., Orduna-Malea, E., & López-Cózar, E. D. (2021), que analizan la consistencia entre diversa fuentes (comparar en esa herramienta, en el caso de Ciencias Sociales por ejemplo, artículos y citas de Google Scholar dentro y fuera de Scopus o de WoS).

d)    Si la edición de “open Access” no garantiza la calidad tampoco es cierto lo contrario: La edición de pago no siempre garantiza la pureza de los procesos de edición y de investigación por sí misma. Son frecuentes los casos de artículos que han sido retractados en prestigiosas revistas. Eso está oficialmente demostrado, pero existe la sospecha fundada de poca ortodoxia en los procesos editoriales. Las revistas MDPI, que, si bien formalmente no son de pago, por ser open Access, nosotros la consideramos como tales por las altas APCs que imponen, tiene aspectos que despiertan cuando menos la curiosidad. Así por ejemplo, en materias donde las revisiones tarda meses, en otras revistas, ellos las hacen en días. Siendo eso imposible en algunas materias y modalidades de trabajo.

e)    Por otra parte, si la edición en Open Access no va acompañada de otras modalidades de edición, como la edición verde u oro (Zapata-Ros, 2017), que garantiza la publicación en abierto y en autoarchivo de los artículos y de los preprints (incompatible por otro lado con las APCs porque las editoriales no lo consienten) no tiene garantizada la eficacia que se le atribuye en la creación y mantenimiento de entornos abiertos y de ecosistemas de investigación (Zapata-Ros, 2011)

Por tanto, la cuestión Open Access sí u Open Access no, no es factor determinante de la calidad ni de la excelencia en la difusión científica ni de la producción, si es eso lo que se pretende.


La cuestión ahora ya no es el Open Access, es la calidad por sí misma. Cómo se evalúa. En este sentido, este año y el pasado, se han dado grandes pasos al cambiar los indicadores de las grandes plataformas de calidad, SCImago, Scopus-Elsevier y Clarivate en el plano global, y del ranking FECYT en la escala nacional.

 

A) CiteScore, el índice de Scopus-Elsevier

Es el índice más transparente: Ofrece las citas por artículo los últimos tres años, pero al operar sobre revistas que de entrada cumple los estándares de calidad de Scopus, es homogéneo. No sucede como en Google Scholr y en parte en WoS con el nuevo índice.

Supone una gran revolución y una respuesta a las críticas que tenían tanto SJR como IF de JCR, sobre su carácter opaco y la ponderación que utilizan sus algoritmos.

En mi opinión es el índice más fiable respecto a la excelencia. A pesar de ser reciente, está siendo adoptado por todos los sistemas de calidad y, hasta ahora, no ha recibido grandes críticas

 

B) SJR, el índice de SCImago sobre datos de Scopus.

SJR e una empresa independiente de Scopus y de Elsevier. Dato que se esfuerzan en señalar estas agencias como tuve ocasión de experimentar como respuesta a un post crítico al respecto que después tuve que cambiar quitando las alusiones a Scopus y a Elsevier. Este especial interés se debe en gran parte a las críticas que ha sufrido este índice con respecto a la ponderación que utiliza y a su poco rigor matemático (Zapata-Ros, 2021).

Sin embargo, el principio que utiliza es bueno. No todas las citas son iguales, tampoco las publicaciones citantes. Utiliza un coeficiente de citas ponderadas por artículo, similar a el que, en otro sentido, utiliza, con carácter general para las búsquedas, PageRank de Google.

 

C) Journal Citation Indicator (JCI) de JCR, en Clarivate WoS

Supone la otra gran revolución de los indicadores, al sustituir como principal índice de JCR al, hasta ahora, su índice exclusivo, el IF (Impact Factor) de JCR. Con él se homogeneiza todo lo que había en los distintos núcleos de WoC relativizando la supuesta excelencia y el elitismo provocado por los índices tradicionales, que otorgaba un plus de marca a las revistas de tal forma que los sistemas de evaluación nacionales se guiaban exclusivamente por esa marca.

Después de varios años de existencia del Emerging Sources Citation Index (ESCI) y de Arts & Humanities Citation Index (AHCI), desde 2015 en el primer caso, en Clarivate entendieron que ESCI, y su contenido de revistas confiables, seleccionadas por WoS, merecen una cobertura completa en el JCR. Aceptan en Clarivate (WoS) que las revistas cubiertas en AHCI y ESCI han cumplido con los mismos rigurosos criterios de calidad , aplicados por los expertos de WoS, para las publicaciones de Science Citation Index (SCI) y Social Sciences Citation Index (SSCI).

Por eso, AHCI y ESCI, y su contenido de revistas seleccionadas por WoS, merecen una cobertura completa en el JCR. Así, ahora, tanto las revistas AHCI como ESCI se integran en las nuevas ediciones del JCR, empezando este mismo año 2021. Es decir, en el caso que nos ocupa, todas las revistas indexadas en ESCI son desde ahora revistas JCR.

Sin embargo, hemos comprobado que después de esto han admitido nuevas revistas en el índice elitista y exclusivo Social Sciences Citation Index (SSCI).

En esta nueva situación se da la circunstancia de que revistas con un JCI superior a revistas de Social Sciences Citation Index (SSCI) permanecen fuera. Un ejemplo es el de RED:



Que teniendo JCI superior a otras tres revistas españolas de Educación permanece fuera de SSCI y no se le calcula el IF.

 

D) FECYT ranking, tras unos tambaleantes principios en los que incluso se cuestionó el carácter estadístico-matemático de la clasificación, actualmente tiene una metodología que permite restar el posible sesgo de otros indicadores, en algunos casos muy divergentes. Lo hace mediante una media ponderada.


Sólo hay que añadir que no se entiende la coexistencia de varios rankings españoles avalados por ANECA (como DIALNET y REDIB, totalmente respetables, pero construidos también con indicadores derivados, no originales) frente al oficial de la propia agencia, el de la FECYT.

 

Conclusiones.-

Aunque en el momento de la redacción de este post desconocemos la reacción de la agencia española ANECA[1], es de esperar que, ante los próximos procesos de adjudicación de sexenios y acreditación a comienzos del nuevo año, se pronuncie a través de las convocatorias si toma como referencias los nuevos índices o los antiguos. Ello teniendo en cuenta las situaciones a las que se puede enfrentar, como por ejemplo que revistas que antes no estaban en la lista de IF-JCR, ahora, con el  nuevo índice JCI de JCR están por delante de algunas que anteriormente estaban incluidas en el IF (Science Citation Index, SCI, y Social Sciences Citation Index ,SSCI).

 

Por último, hay de decir que, como hemos mantenido estos años, una política de estandarización y de generalización de los índices, en un marco global e interdisciplinar,  de publicaciones de distintas disciplinas interconectadas y cuyo impacto fuese medido con criterios de estandarización, era necesario, como se ha puesto de relieve en las contingencias de la pandemia. También acotar las publicaciones de excelencia. No sólo porque eso favorecería a revistas de excelencia que ahora pasan desapercibidas, situándolas en un contexto global sin criterios de exclusividad distintos a los propios de la calidad, sino porque al ponderar las citas con criterios científicos se deslinda lo que es ciencia de lo que no lo es, estableciendo criterios de excelencia y no sólo de número. Y que esos criterios sean iguales para todas las publicaciones. Insistimos que eso se pone de relieve en el trabajo de López Cózar et al (Martín-Martin et al, 2020) y en la herramienta desarrollada por ellos


Referencias

Friend, F. J. (2005). El apoyo de las agencias de financiación de la investigación al acceso abierto. RED. Revista de Educación a Distancia13, 1-8. https://www.um.es/ead/red/13/melero.pdf

Martín-Martín, A., Thelwall, M., Orduna-Malea, E., & López-Cózar, E. D. (2021). Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science, and OpenCitations’ COCI: a multidisciplinary comparison of coverage via citations. Scientometrics126(1), 871-906. https://link.springer.com/article/10.1007/s11192-020-03690-4

Zapata-Ros, M. (2008). La edición científica digital de acceso abierto: Un factor básico en la ayuda a la investigación. Revista de Educación a Distancia (RED), (19). https://revistas.um.es/red/article/view/23891

Zapata-Ros, M. (2011). La investigación y la edición científica en la web social: La ciencia compartida. Revista de Educación a Distancia (RED), (3DU). https://digitum.um.es/digitum/bitstream/10201/98681/1/254001-Texto%20del%20art%C3%ADculo-881961-1-10-20160318.pdf

Zapata-Ros, M. (2017) Citación, calidad e innovación en edición científica.  http://redesabiertas.blogspot.com/2017/06/citacion-calidad-e-innovacion-en.html

Zapata-Ros, M. (2021). ¿Es tan poderosa SCImago que puede cambiar los convenios matemáticos? https://notasalmargen18.blogspot.com/2021/05/los-cuartiles-estadisticos-y-los.html



[1] Después hemos conocido la explicación de intenciones ofrecida por la ANECa y los documentos de principios y directrices: "Conversaciones con ANECA: principios y directrices generales para la actualización de los criterios de evaluación de la investigación - Aneca" http://www.aneca.es/Sala-de-prensa/Noticias/2021/Conversaciones-con-ANECA-principios-y-directrices-generales-para-la-actualizacion-de-los-criterios-de-evaluacion-de-la-investigacion

Esperamos a realizar una tranquila y serena lectura para ver si se han tenido en cuenta estas ideas y en qué medida se ha hecho, y comentarlo en una entrada posterior. Aunque se observa igualmente la tendencia casi obsesiva en plantear la cuestión en términos de open access / acceso por compra o suscripción.
No obstante, en función de las insistentes críticas que hemos hecho hasta ahora en esa dirección, consideramos una aportación positiva la sustitución del indicador SJR de SCImago (no de Scopus como se dice) por el indicador CiteScore de ScopusElsevier.