Malas artes en la investigación psicológica

Lo que la naturaleza no muestra a tu espíritu no lo puedes forzar tú con palancas y tornillos (Goethe, Fausto)

Un tema candente en la actualidad psicológica es el de la mala praxis en la investigación. Recientemente, el caso Stapel y la retirada de otros muchos artículos en diversas revistas de alto nivel debido a prácticas de mala conducta científica han inducido una crisis de credibilidad en algunos de los resultados que se publican. Unido a ello, la ciencia psicológica parece volver a caer en errores del pasado, y vuelven a aparecer investigaciones que reportan hallazgos ciertamente insólitos y efectistas aunque demostrados, eso sí, con toda la parafernalia de rigor del proceso científico. El caso más conocido dentro esta última categoría sería el artículo sobre percepción extrasensorial del reputado Daryl Bem recientemente aparecido en The Journal of Personality and Social Psychology. En otro orden de cosas, la ausencia de replicación de algunos resultados, cuando no la imposibilidad real de replicar los estudios donde se obtuvieron, no hace sino aumentar las sospechas e inducir al cuestionamiento de la calidad de los mismos. Y todo ello, sin hablar de los casos en los que se comente algún error en los análisis de datos, que hace cuestionables las conclusiones, o la estadística se reporta inadecuadamente. ¿Nos encaminamos hacia una nueva crisis en la psicología científica?

El número de noviembre de este año de la revista Perspectives on Psychological Science aborda en profundidad el tema de la credibilidad de la investigación psicológica tras ocurrir casos como los anteriores, centrándose –a la manera clínica- en el diagnóstico y posible tratamiento de la situación. Ya desde la introducción a esta sección especial sobre replicabilidad, Harold Pashler y Eric-Jan Wagenmakers (2012) se plantean y responden la cuestión central del especial: “¿Hay en la actualidad una crisis de confianza en la ciencia psicológica que refleja un nivel sin precedentes de dudas entre los profesionales sobre la fiabilidad de los resultados de investigación en el campo? Ciertamente, parecería que así es”.

La manzana de Eva en esta crisis parece tener sabor de papel, pero en este caso el árbol del que cae no es el de la Ciencia, sino el del falso conocimiento. La presión por publicar, el conocido “publish or perish” se encuentra en el origen de la expulsión del Edén psicológico.

Publicar es necesario para sobrevivir en el medio académico, pero también es una necesidad narcisista de aquellos que han decidido consumir sus cinco minutos de fama en el escaparate científico. Las causas de los problemas, según se refleja en el número especial de PPS, son tanto sistémicas –las imperfecciones del sistema de evaluación y acumulación de méritos en la academia- como personales, pues al fin y al cabo, tras años de socialización todo científico debería saber lo que está bien y lo que no. Está claro que publicar resultados de calidad es el final de un camino largo y sinuoso, donde el investigador ha de afrontar numerosas pruebas; pruebas que en definitiva implican la superación de las propias limitaciones mediante la adquisición de nuevos conocimientos y de nuevas “artes”, pero que también implican trascender en mayor o menor medida los límites del estado actual de conocimiento. Todo ello exige esfuerzo, sacrificio y una alta dosis de renuncia a los “placeres mundanos” –la fama incluida- cuando no se hallan buenos resultados. La alternativa a este camino incierto de la exploración científica es la “fabricación del conocimiento”, o como Graham Davey ha precisado con más propiedad en su blog, la “creación de conocimiento falso”. En el especial de PPS también se recoge una aportación de Neuroskeptic, inicialmente un post en su blog ahora reconvertido de manera innovadora en artículo –Skeptic (2012)-, en la que usa los nueve círculos del infierno dantesco para ilustrar las posibles formas de mala praxis en la investigación psicológica. Un esquema, más amable que las tradicionales representaciones del infierno de Dante, se recoge en la imagen adjunta.

Tanto Davey como Neuroskeptic nos ofrecen un catálogo de las formas que la mala praxis puede adoptar. El publicar por publicar se asemeja bastante a un proceso de producción industrial y ello hace que las aportaciones de ambos autores se puedan sintetizar en torno a las tres fases del lanzamiento de una nueva “mercancía”: la fabricación del producto, su presentación y la post-producción.

Fabricación del producto científico. Esta categoría recoge aquellas formas de mala praxis que implican “crear” resultados y conclusiones donde no los hay, tomar como propios resultados o hallazgos que no lo son (p. ej. el plagio) o hacer aparecer de la nada nuevas realidades (p.ej. invención de datos o conceptos). Por ejemplo, la fabricación de un producto vendible se puede lograr mediante el “maquillaje” o “masajeo” estadístico de los datos, haciendo todo lo posible (eliminación de sujetos, inclusión de variables espúreas, etc) para alcanzar el valor de significación mágico de 0.05. Pero también es frecuente que el productor esté atento a las demandas del “mercado” y emplee aquellos procedimientos y técnicas metodológicas que están más de moda de forma indiscriminada, independientemente de que su uso obedezca realmente a los objetivos e hipótesis del estudio…porque incluso estas se pueden acabar acomodando a “lo que sale” en los datos. La ilustración adjunta, tomada de la contribución de Wagenmarkers et al. (2012), ejemplifica bien algunas de estas prácticas.

No obstante, la creación de resultados no se logra sólo por la vía cuantitativa, sino que –como alerta Davey- en algunos casos el falso conocimiento se fabrica gracias al abuso de la metodología cualitativa más subjetiva. Aunque él mismo reconoce el papel de esta aproximación metodológica, nos recuerda que la ciencia es ante todo intersubjetiva y requiere de cierta capacidad de objetividad (o al menos, de “objetivación”). Si bien la fase de “fabricación del producto” hace referencia a aspectos de tipo metodológico principalmente, no hay que olvidar algunas formas de “fabricación” de otra naturaleza. La invención de nuevos constructos psicológicos sin base teórica suficiente, señalada por Davey, o el mirar a otro lado o incluso premiar con subvenciones casos de mala praxis, algo a lo que alude el “limbo” de Neuroskeptic, serían algunos ejemplos de ello.

Presentación del producto científico. Una vez que se logra disponer de un producto, el siguiente paso es lograr presentarlo de una forma atractiva para los potenciales compradores (léase revisores y editores de revistas especializadas). Y la mala praxis en este sentido tiene un objetivo: resaltar los puntos fuertes del trabajo propio y ocultar las propias limitaciones. Las formas de lograr esto son varias, por ejemplo, no reportar aquellos datos que podrían contradecir los resultados encontrados, o publicar sólo parcialmente los datos disponibles. No informar adecuadamente de las limitaciones de un estudio, ocultar efectos secundarios potenciales de una intervención, informar sólo de aquellos casos en que se cumple la hipótesis o seleccionar sólo aquellas variables dependientes y covariables que dan “buenos” resultados, serían también ejemplos de esta categoría. Además, siempre que un “cliente” no quiera comprar el producto se puede buscar otra audiencia más favorable, es decir, se puede reenviar sin corregir en nada un manuscrito a una nueva revista, o incluso –si la cosa se resiste- optar por publicar los resultados allí donde no se exija revisión por pares. El problema de estas prácticas, siguiendo el razonamiento de Davey, es que en ocasiones contribuyen a difundir como conocimiento científico bien establecido resultados o conclusiones que no alcanzan una calidad suficiente. Aquí sin duda jugaría un papel clave la capacidad de análisis crítico del lector especializado, que puede contextualizar los resultados de un estudio y entender sus limitaciones; pero el gran público lego en la materia quedaría algo indefenso y casi obligado a hacer el acto de fe de que aquello que se publica es ciencia. A medio camino entre la fase de producción y la de venta se encuentran los casos de “producción orientada a la venta”, es decir, aquellos en los que se persigue ya de entrada el análisis de un efecto improbable, inesperado o sensacionalista, lo que garantizará –si por casualidad la muestra utilizada resulta premiada con un p<0.05- una alta visibilidad y que corran ríos de tinta en forma de comentarios y citas.

Post-producción. En la industria de la fabricación de papers también es importante el “servicio postventa”. En este sentido, son varias las prácticas inadecuadas que se han identificado, como por ejemplo, replicar un estudio o experimento usando los mismos procedimientos limitados o erróneos que en el original (“¡Si sale lo mismo!” –“Sí, eso quiere decir que está igual de mal que antes”) o crear un “cinturón protector” de explicaciones ad-hoc para defender un hallazgo insostenible. Otros problemas de “post-producción” tienen que ver con el apego del autor a su obra. Ser teóricamente intransigente, asumiendo un compromiso total con un modelo o teoría y negándose a cambiar las propias ideas a la vista de evidencias contradictorias son ejemplos de ello. En otras ocasiones, el autor mismo queda seducido por su propio reflejo en un mar de citas y publicaciones, que le  devuelve una imagen distorsionada de la importancia real de la propia obra. Irónicamente, ello lleva a olvidar la norma mertoniana del “desinterés” sobre los objetivos personales, en favor sin embargo de la puesta en práctica de la virtud del “comunitarismo”, regalando al mundo una obra de proporciones colosales…en términos de cantidad.

Así las cosas, en el número especial de PPS se ofrecen también algunas soluciones para atajar estos problemas, algunas de ellas reconocidas por los propios postulantes como “utópicas” (Nosek et al., 2012). La revisión de los criterios de evaluación del mérito científico, el cambio en las políticas editoriales, la construcción de un sistema no basado en la máxima de “publicar o morir”, el mayor control por pares sobre el proceso de obtención y publicación de resultados, el mayor énfasis en la replicación, o el cambio de mentalidad de los propios investigadores serían algunas de las que se citan entre las posibles vías de actuación. Todas ellas pueden resumirse en la necesidad de una mayor transparencia en la actividad investigadora y en considerar el grave daño que se causa a la psicología científica, y a la sociedad que “consume” su conocimiento, cuando se cae en la tentación de la mala praxis. En este sentido, quizá sea bueno recordar la inscripción que figuraba en la puerta del infierno de Dante: “abandona la esperanza si entras aquí“.

Puedes leer los artículos del especial de Noviembre de 2012 de Perspectives on Psychological Science aquí.

Referencias:

ResearchBlogging.org

Pashler, H., & Wagenmakers, E. (2012). Editors’ Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence? Perspectives on Psychological Science, 7 (6), 528-530 DOI: 10.1177/1745691612465253

Nosek, B., Spies, J., & Motyl, M. (2012). Scientific Utopia: II. Restructuring Incentives and Practices to Promote Truth Over Publishability Perspectives on Psychological Science, 7 (6), 615-631 DOI: 10.1177/1745691612459058

Wagenmakers, E., Wetzels, R., Borsboom, D., van der Maas, H., & Kievit, R. (2012). An Agenda for Purely Confirmatory Research Perspectives on Psychological Science, 7 (6), 632-638 DOI: 10.1177/1745691612463078

Skeptic,N (2012). The Nine Circles of Scientific Hell Perspectives on Psychological Science, 7 (6), 643-644 DOI: 10.1177/1745691612459519