La evidencia que desvanece

Zan_Zig_performing_with_rabbit_and_roses,_magician_poster,_1899

“La ciencia es creer en la ignorancia de los expertos”

–Richard Feynman

Joseph Banks Rhine (1895-1980), fue un botánico norteamericano de la Universidad de Duke, con un ávido interés en la psicología humana. Al ser un excelente observador, cierto día se topó con un acto serio sobre eventos para-normales, impartido por Mina Crandon, una autodenominada “medium”. Rhine notó los trucos de la Sra. Crandon y describió las trampas que la misma hacía. Lo hizo en forma tan detallada que decidió publicarlo. No fue fácil; sobre todo porque después de dos intentos y lograrlo, fue inmediatamente atacado por defensores ávidos de Mina Crandon –para mi sorpresa y ligera decepción, uno de ellos era el famoso autor Sir Arthur Conan Doyle, creador de Sherlock Holmes, cuya defensa publicada llamó “J.B. Rhine is an ass”. Al final de cuentas y después de leer la historia, entiendo las razones de Doyle. Cualquiera que haya sido la forma de manifestarse, la consecuencia es que Rhine entró en el mundo de lo paranormal desde un punto de vista científico. Decidió estudiar el fenómeno de la percepción extrasensorial (PES). Para esto usó experimentos en voluntarios a los cuales les pedía adivinaran las cartas que Rhine tomaría de un juego. Por azar, Rhine esperaba una proporción de éxito del 20%. Sin embargo, uno de los participantes, un joven llamado Adam Linzmayer obtuvo a la primera el 100% correcto (adivinó 9 de 9 cartas). Rhine repitió el estudio con 300 intentos, y Linzmayer adivinó el 39% de las mismas (recuerden que se espera un 20% por simple azar). Aún era demasiado para ser azar. Sin embargo, el efecto empezó a desvanecerse. Después de Linzmayer, Rhine intentó con otros sujetos, y algunos tenían al inicio el éxito de Linzmayer, entre ellos un voluntario llamado Joseph Pratt, quien después le ayudaría a publicar los resultados de su estudio. Sin embargo, el común denominador era siempre que el efecto desvanecía con el tiempo. Siempre un primer resultado impactante, para después ir cayendo hacia lo esperado (el 20% por azar). Ellos llamaron a este efecto el efecto evanescente (the decline effect). Rhine y Pratt publicaron sus resultados en 1940 en (curiosamente) un meta-análisis de sus estudios; de hecho, se considera el primer (verdadero) meta-análisis de la historia.[1]

En la década de los 90s, un joven psicólogo llamado Jonathan Schooler, de la Universidad de Washington empezó a notar el mismo efecto evanescente en una condición de psicología que llamaba “verbal overshadowing”. Lo interesante de Schooler era que, aunque al inicio no podía esconder su emoción por sus resultados, al empezar a replicar su estudio notó que el efecto no era tan dramático como el inicial, e iba cayendo, continua e irremediablemente. Quedó tan impactado e intrigado que cambió su mira y esfuerzo de investigación hacia el efecto evanescente. Interesado en los trabajos de Rhine, repitió estudios sobre eventos “paranormales”, y observó el efecto evanescente una y otra vez.[2]

La mayoría de los científicos argumentarían que la explicación de este fenómeno es la famosa “regresión a la media” donde, “si una variable es extrema en su primera medición, tenderá a estar más cerca de la media en su segunda medición y, paradójicamente, si es extrema en su segunda medición, tenderá a haber estado más cerca de la media en su primera”. Si bien puede la regresión a la media jugar un papel importante, no explica del todo el porqué el efecto evanescente siempre estaba presente, y era siempre estadísticamente importante. Pero eso ahora no es tan importante. El hecho es que lo podemos observar, sea causado por la regresión a la media, o por otros mecanismos (sesgos de publicación, por ejemplo), muchas veces observamos resultados dramáticos iniciales que después pueden cambiar.

Pero imaginemos que esto ocurre en el campo de las ciencias de la salud (SPOILER ALERT: Sí ocurre). Imaginemos un estudio bien hecho, que reporta efectos benéficos dramáticos sobre un tratamiento. “Es importante” –dicen los creadores de guías clínicas de una organización– “¡salva vidas! el estudio debe detenerse ya y debemos empezar a tratar a los pacientes con esta medicina milagrosa.”

No es un hecho aislado, ocurre con cierta frecuencia que se detectan efectos de resultados prometedores que después cambian a resultados no significativos clínica o estadísticamente. El detener un estudio de forma temprana es considerado un riesgo de sesgo. Ejemplos clásicos: el del uso de beta-bloqueadores en cirugía no cardiaca, o el uso de insulina intensiva en pacientes en estado crítico.[3] En ellos, el efecto que inicialmente parecía prometedor, no fue comprobado en estudios posteriores. Muchas veces es mejor esperar y no apresurarse a hacer juicios, especialmente si después de considerar los riesgos, beneficios y costos, los efectos probables de beneficio no sobrepasan de forma importante los efectos probables de daño.

El efecto evanescente en medicina (sea por regresión a la media u otros efectos) es tan solo uno más de muchos efectos a tomar en cuenta (en siguientes posts veremos otros) que hacen que la ciencia de la salud no sea tan perfecta como soñamos. Hacia allá vamos, pero no aún, no aún.

not yet

 
Carlos A. Cuello
McMaster University
Tecnológico de Monterrey

 

Referencias

  1. O’Rourke K: An historical perspective on meta-analysis: dealing quantitatively with varying study results. Journal of the Royal Society of Medicine 2007, 100:579-582.
  2. The Truth Wears Off: Is there something wrong with the scientific method? [http:// www.newyorker.com/magazine/2010/12/13/the-truth-wears-off]
  3. Guyatt GH, Briel M, Glasziou P, Bassler D, Montori VM: Problems of stopping trials early. Bmj 2012, 344:e3863.

Fotografía inicial tomada de Wikipedia.

Comparte esta entrada: Share this post with the world.
  • Twitter
  • Facebook
  • del.icio.us
  • Digg
  • Google
  • LinkedIn
  • StumbleUpon
  • Technorati

2 respuestas en “La evidencia que desvanece

  1. Ricardo Castro

    Aprovecho la oportunidad para manifestarle mis felicitaciones no solo por este articulo, sino por todo el blog que nos pone en onda con la medicina como ciencia. Yo soy su lector regular y muy interesado en la cirugia (general y digestiva) basada en la evidencia…alguna bibliografia u opinion dirigida a esta especialidad. Saludos fraternos desde Peru.

    Gracias,

    Ricardo Castro.

  2. Carlos Cuello Autor de la entrada

    Muchas gracias, Ricardo.
    Hay muchos sitios recomendables. Sigue esta guía para darte una idea sobre los tantos que existen http://cmbe.net/?page_id=132 Estoy seguro que ellos ayudarán.
    Aprovecho para anunciar que en unos meses saldrá nuestro libro sobre la enseñanza y práctica basada en evidencia; en él precisamente colocamos estos términos de una forma más amigable y práctica. Ya estaremos avisando con oportunidad.

    Saludos hasta Perú