Ética e investigación sobre tecnología educativa: Los self-reportings ¿son investigaciones?

Este post ha sido publicado originalmente en el blog "Plan B.Una visión crítica y heterodoxa sobre los procesos de conocer, aprender yenseñar en la Sociedad del Conocimiento"

Una colega, a la que considero amiga, en un instituto de investigación y desarrollo del MIT, me decía en un mensaje sobre otro tema y hablando de un paper que publiqué:

Estuve leyendo el estudio que publicaste sobre motivación, cognición y logros académicos...  No me sorprenden los resultados, muchos estudios apuntan a que los estudiantes más motivados son los que llegan a los moocs y los que "se quedan" y "aprenden" algo. Me gustaron los aspectos cognitivos que se trabajaron, pero ¿esto fue todo Self-reporting, no?

Me sorprendió no tanto por la consideración que hacía como por la estimación que iba implícita en el comentario sobre  self-reporting.

Para el lector no avisado diremos que un estudio de auto-informe es un tipo de encuesta o de  cuestionario en la que los encuestados leen la pregunta y seleccionan una respuesta por sí mismos sin interferencia del investigador. Se utiliza para preguntar a los participantes acerca de sus sentimientos, actitudes, creencias y otras opiniones sobre el tema objeto de estudio. Los auto-informes se utilizan sobre todo  como una forma de obtener respuestas de los participantes en los estudios observacionales y también asociados a análisis empíricos, pero en este caso de forma auxiliar, para obtener información interpretativa de los resultados.

Los estudios de auto-informe tienen problemas de validez. No hay garantías de que los encuestados no exageren las respuestas en algún sentido con el fin de favorecer sus objetivos o intereses personales, o hacer que la situación parece peor, con el fin de minimizar sus problemas. Aunque pudiera ser simplemente que los encuestados estén equivocados, o interpreten mal los enunciados.

Si repasamos artículos publicados en algunas revistas calificadas como científicas veremos que con frecuencia responden a un mismo patrón: contienen gráficos sencillos sobre porcentajes o frecuencias de respuestas a preguntas de cuestionarios  del tipo descrito.

Como ejemplo ilustrativo es posible que nos encontremos con algo como el párrafo que reproducimos, donde por razones obvias hemos suprimido los elementos identificadores:

Para comprobar este aspecto hemos hecho un estudio exploratorio con una muestra de X estudiantes de último curso de la titulación T, en el curso 2010-2011 (Y de ellos, mujeres). El objetivo ha sido conocer hasta qué punto existe entre ellos conciencia sobre su percepción de A.

Y ya está, ésta es toda la información que se dá en el artículo sobre el método seguido en la “investigación”.

Volviendo al caso de la pregunta de mi colega la respuesta que di  fue ésta:

Sobre el estudio, te agradezco el interés. No es self-reporting, este tipo de estudios no  los acogemos bien en RED. Algunos creemos que no son científicos.

De hecho es una derivación de un estudio original de Katty Jordan, que es descriptivo. El mío es un análisis empírico sobre la base de los datos aportados por Jordan, quea su vez  es una recopilación de cifras de abandono en varios cientos de cursos MOOC, agrupados según la modalidad de evaluación. Los datos son los que los propios MOOC, las instituciones que los organizan, suministran en sus estadísticas.

Mi estudio es un análisis de la correlación de Pearson entre dos variables: Abandono y divergencia en la modalidad de evaluación. He establecido una variable donde gradúo el nivel de divergencia: Autoevaluación, evaluación mixta y evaluación por pares. Y obtengo un claro índice de correlación positiva entre divergencia y permanencia en el curso (obtenemos un valor para el Índice de Correlación de Pearson de 0,66884678): A más divergencia menos abandono. O lo que es lo mismo: La evaluación por pares propicia el abandono y la autoevaluación no lo hace o lo hace en menor grado (http://red.hypotheses.org/437).

Poco después, a través de una amiga periodista, me llegó a percepción de un empresario distribuidor de unas conocidas smartglasses.

La cuestión se inició cuando pedí a esa amiga periodista que mediase con algunos empresario, considerados innovadores,  sobre los que había hecho un reportaje, que gestionase con ellos su participación en una investigación. Se trataba de un análisis empírico para contrastar si había mejora en ciertos resultados de aprendizaje, mejoras en competencias asociadas a la interpretación de curvas de funciones con Wolfram. De lo que ya tengo alguna experiencia. Se lo explique todo pormenorizadamente ajustándome al lenguaje y al nivel de información que, sobre el tema, se supone que podrían tener empresario y periodista.

Me llegó la respuesta, naturalmente mediada por la amiga periodista, pero el mensaje era claro. Cuando le habló de la investigación le dijo que 

“Eso  no es pionero, que ya se ha hecho sin éxito y que le parece una chorrada pues luego los resultados se orientan según el investigador quiera” (sic). 

A lo que añadió :

“Los que crean son los negocios y no las carreras universitarias ni  los científicos. Son las grandes empresas las que investigan y crean”

Independientemente de la precisión del lenguaje y de las aportaciones del interlocutor y del emisor del mensaje, algo debe haber ¿o no? 

¿Esa es una parte de la verdad, la de las investigaciones amañadas? ¿Cuál es el nivel de significación de esa opinión?, ¿se ha quedado con lo peor, siendo poco, y ha hecho de la anécdota categoría?.

Porque evidentemente no creo que esa sea la opinión de la multinacional que hay detrás de las gafas inteligentes, poniendo en solfa a la comunidad científica internacional

Ante este estado de cosas no me extraña el escepticismo de las iniciativas serias como son las que de alguna forma representa la colega del MIT. Aunque imagino que este estado de opinión o de desconfianza no se habrá producido de forma injustificada ni mucho menos maliciosa. Lo más probable es que se haya producido a partir de la oferta de investigaciones ful. Como tampoco creo que sean casuales las opiniones y las experiencias que hay tras los comentarios del empresario. Aunque no sean propios de él.

Lo cierto es que vamos a tratar en los consejos científico y editorial de RED qué vamos a hacer con este tipo de artículos. Una opción posible es que no se acepten trabajos cuyo contenido sea sustancialmente un self-reporting. Como siempre se agradecen comentarios y opiniones.