Un ejemplo de self report study

En ocasiones anteriores hemos hablado de los self reports studies, de qué son y por qué no se aceptan en RED.

Lo hemos tratado en estos posts

• Self-report study
• Self-report studies y Elsevier

Ahora, en el transcurso de una revisión editorial, en mi calidad de editor de RED, he encontrado un trabajo que muy bien podría ejemplificar este caso. Para facilitar la lectura de este post pueden descargar de Google Drive el manuscrito, sin nombres ni filiaciones de los autores que permitan identificarlos, donde lo he subido para este caso, pulsando este enlace. He enfatizado en amarillo los textos que ponen de manifiesto su carácter de self report study

En el resumen dice "El objetivo del estudio fue determinar la relación entre las competencias de los docentes y el desempeño de los estudiantes que participan en la modalidad b-Learning". Sin embargo en esa parte no dice cómo obtiene los valores de esas variables, pasa directamente a decir cómo analiza su correlación. Cuestión que sí pormenoriza, sin regatear detalles técnicos.

Después en la metodología se dice:

"La presente investigación se planteó como objetivo principal el determinar si existen una relación entre las competencias de los docentes y el desempeño de los estudiantes"

"(...) por medio de la encuesta a estudiantes sobre su percepción del grado de competencia docente y el desarrollo de competencias genéricas."

Para a continuación  señalar la forma de obtener esos datos:

"se utilizó la técnica del cuestionario con el objetivo de conocer la opinión de los alumnos sobre el desempeño docente y su relación con el desarrollo de competencias en los estudiantes"

A partir de aquí hay un salto cognitivo. Se definen unas variables a partir del cuestionario de opinión, sin señalar qué procedimiento utilizan para a partir del cuestionario y de las respuestas determinan el grado de logro o de consecución o de la calidad de la planeación didáctica o en la resolución de problemas, o del resto de rasgos o indicadores que sirven para construir las variables. Y sobre todo determinando estos valores en función de la autopercepción de los alumnos.

Al otro lado de este salto cognitivo, sin puente, hay un aparataje perfectamente armado siguiendo los cánones de la corrección de los análisis empíricos. El cuestionario está realizado siguiendo estrictamente una escala de Likert.  

La consistencia del cuestionario queda perfectamente asegurada

"El nivel de fiabilidad y confianza del instrumento se realizó mediante alfa de Cronbach de (.925) determinando excelente nivel de constancia interna del cuestionario".  

Y por último aseguran la validez que "se determinó a partir de de la revisión de tres expertos de la institución".

Igual sucede con el procedimiento, en el que aseguran

"se utilizó el análisis de frecuencia y el análisis dependencia entre variables cualitativas al utilizar un contraste estadístico Chi-cuadrado (x²)  a través de tablas de contingencias de las variables: competencias docentes (ocho docentes) y percepción de desempeño del estudiante a través de una hipótesis nula (Ho) y una hipótesis alternativa (H1) perfectamente definidas.

Sin embargo tanto esto como el resto del artículo giran en torno a unas fuentes de datos que no validan en absoluto los rasgos que constituyen las variables, independientemente de la validez o de la potencia de las herramientas de análisis de la covariación de datos que utilizan. 

Así el trabajo tiene todas las características de lo que se considera un self-report study[1].

Con el fin de evitar este tipo de cosas incluimos entre las normas de edición para los autores y revisores, edición del 25 de Abril de 2015, la prescripción de que RED no publicase artículos que utilizasen la modalidad de self-report studies como opción principal para validar una propuesta o una hipótesis [2]. Si bien aceptábamos que pudiese utilizarse como segundo método para apoyar, matizar o tringular un primer método de investigación.

Por tanto quedó desestimada la publicación en la fase de revisión editorial.

[1] Según Whitley y Kite (2013) un self-report study (estudio de autoinforme) es un tipo de encuesta, cuestionario o escrutinio en el que los encuestados leen la pregunta y seleccionan una respuesta por sí mismos, sin interferencia del investigador. Un self-report (autoinforme) es cualquier método que implica preguntar a un participante acerca de sus sentimientos, actitudes, creencias o cualquier otro rasgo ofacultad de sus valores o de su personalidad. Ejemplos de auto-informes son cuestionarios y entrevistas; Los autoinformes suelen usarse como una forma de obtener respuestas de los participantes en estudios o experimentos observacionales.

[2] Dice textualmente "En los casos de artículos que incluyan una o más investigaciones  solo se admite el método conocido como self-report study[2] como método auxiliar, en ningún caso para probar la tesis principal del estudio".

Referencias.-

Whitley, B.E. and  Kite, M.E. (2013). Principles of Research in Behavioral Science, Routledge Third Edition