En 2013, Ben Goldacre fue requerido por el ministerio de Educación del Reino Unido para que les asesorase acerca del uso de prácticas basadas en la evidencia en la escuela. Goldacre, autor del magnífico libro "Mala ciencia", donde denuncia las prácticas fraudulentas de individuos, gurús, grupos, farmacéuticas y medios de comunicación acerca de la venta indiscriminada de remedios milagrosos en medicina que no tienen ningún tipo de eficacia, escribió este documento de introducción para alentar a los profesionales de la educación a dedicar parte de su tiempo a la investigación, todo en vistas a empoderar a la profesión de maestro y que éste haga uso de esta evidencia para su labor diaria en el aula. Con sinceridad, si hay un artículo en el blog que merezca ser leído con detenimiento para conocer qué es la Pedagogía basada en evidencias, este es el artículo que andabas buscando.
Creo que hay un gran premio esperando a ser reclamado por los profesores. Mediante la recopilación de las mejores evidencias sobre lo que funciona mejor y el establecimiento de una cultura donde se utilice esa evidencia como parte de la rutina, podemos mejorar los resultados de los niños y aumentar la independencia profesional.
Esta no es una idea excepcional. La medicina ha dado un salto hacia adelante con la práctica basada en la evidencia, porque sólo mediante la realización de "ensayos aleatorios" - pruebas imparciales, la comparación de un tratamiento con otro - hemos sido capaces de encontrar lo que funciona mejor. La consecuencia ha sido que los resultados con los pacientes han mejorado, a través de miles de pequeños pasos hacia adelante. Pero estos logros no se han ganado simplemente haciendo unos ensayos individuales, en unos pocos temas individuales, en unos pocos hospitales aquí y allá. También se ha requerido de un cambio de cultura, con más educación para los médicos acerca de la evidencia y nuevos sistemas que ejecuten ensayos como parte de su rutina, para identificar cuestiones que son importantes para los profesionales, para reunir pruebas sobre lo que funciona mejor, y luego, de manera crucial, leerlas, entenderlas y ponerlas en práctica.
Quiero convencerte de que esta revolución podría - y debería - suceder en la educación. Hay muchas diferencias entre la medicina y la enseñanza, pero también tienen mucho en común. Ambas implican oficio y experiencia personal, aprendidos durante años de experiencia. Ambas funcionan mejor cuando aprendemos de las experiencias de los demás, y de lo que funcionó mejor para ellos. Cada niño es diferente, por supuesto, y cada paciente es diferente también; pero todos somos lo suficientemente similares como para que la investigación pueda ayudar a averiguar qué intervenciones funcionarán mejor en general, y qué estrategias deben ser probadas primero, segundo o tercero, para ayudar a todos a alcanzar el mejor resultado.
Antes de llegar tan lejos, sin embargo, tengo que hacer una advertencia: Soy médico. Sé que la gente ajena a la educación a menudo trata de decirles a los maestros lo que deben hacer, y soy consciente de que esto a menudo termina mal. Debido a eso, hay dos cosas sobre las que debemos ser claros.
En primer lugar, la práctica basada en la evidencia no se trata de decirle a los maestros lo que deben hacer: de hecho, es todo lo contrario. De lo que se trata es de empoderar a los maestros, y el establecimiento de una profesión libre de gobiernos, ministros y funcionarios públicos que a menudo están demasiado interesados en el envío de decretos, insistiendo en que su nueva idea es la mejor de todas. Nadie en el gobierno le diría a un médico qué es lo que debe prescribir, pero todos esperan que los médicos puedan tomar decisiones informadas sobre qué tratamiento es el mejor, el uso de la mejor evidencia disponible en la actualidad. Creo que los maestros podrían un día estar en la misma posición.
En segundo lugar, los médicos no inventaron la medicina basada en la evidencia. De hecho, es cierto todo lo contrario: hace tan sólo unas décadas, la mejor práctica médica era impulsada por cosas como la eminencia, el carisma y la experiencia personal. Necesitamos la ayuda de los estadísticos, epidemiólogos, bibliotecarios de la información y expertos en el diseño de ensayos para avanzar. Muchos médicos - especialmente los más veteranos - lucharon duro contra esto, tomándose a la "medicina basada en la evidencia" como un desafío a su autoridad.
En retrospectiva, hemos visto que estos doctores se equivocaron. La oportunidad de tomar decisiones informadas acerca de lo que funciona mejor, utilizando pruebas de buena calidad, representa una forma más real de independencia profesional que cualquier figura veterana gritando sus opiniones. Un conjunto coherente de sistemas para la práctica basada en la evidencia escucha a la gente que está en primera línea, para averiguar dónde están las incertidumbres, y decidir qué ideas merecen ser puestas a prueba. Por último, sobre todo, el juicio individual no es socavado por la evidencia: en todo caso, el veredicto bien informado regresa a primer plano y enormemente mejorado.
Esta es la oportunidad que creo que los maestros podrían querer asumir. Debido a que algunas de estas ideas podrían ser nuevas para algunos lectores, voy a describir los elementos básicos de un ensayo aleatorio, pero después de eso, voy a describir los sistemas y estructuras que existen para apoyar la práctica basada en la evidencia, que son en muchos aspectos más importantes. No hay necesidad de un mundo donde todos sean de repente unos expertos en investigación, realizando ensayos en su aula mañana mismo: lo que importa es que la mayoría de la gente entienda las ideas, que eliminemos las barreras a las "pruebas razonables" de lo que funciona, y que la evidencia pueda ser utilizada para mejorar los resultados.
Cómo funcionan los ensayos aleatorios
Cuando son factibles, los ensayos aleatorios son generalmente la herramienta más fiable que tenemos para saber cuál de dos intervenciones funciona mejor. Simplemente tomamos un grupo de niños o escuelas (o pacientes, o personas); los dividimos en dos grupos al azar; damos una sola intervención a un grupo, y la otra intervención para el otro grupo; luego medimos cómo lo está haciendo cada grupo, para ver si una sola intervención logró mejores resultados.
Así es como se prueban los medicamentos, y en la mayoría de circunstancias, hoy en día sería considerado como peligroso para cualquier persona utilizar un tratamiento sin asegurarse de que se ha demostrado que funciona bien en un ensayo aleatorio. No obstante, los ensayos no sólo se utilizan en medicina, y es común encontrarlos en campos tan diversos como el diseño web, la venta al por menor, el gobierno y el trabajo de desarrollo en todo el mundo.
Por ejemplo, hubo un largo debate sobre cuál de los dos modelos de competencia de sistemas de "microfinanciación" funcionaba mejor para sacar a la gente de la pobreza en la India, al tiempo que garantizaba que el dinero fuese devuelto, por lo que podría ser reutilizado en otros pueblos: un ensayo aleatorio comparó los dos modelos, y estableció cuál era el mejor.
En la parte superior de la página en Wikipedia, cuando tienen una campaña de financiación, se puede ver el rostro sonriente de Jimmy Wales, su fundador, en un anuncio de recaudación de fondos. Él es una persona bastante tímida, y no quería que su cara saliese en estos banners. Pero Wikipedia hizo un ensayo aleatorio, asignando diferentes anuncios a los visitantes: algunos vieron un anuncio con una niña del mundo en desarrollo ("ella podría tener acceso a todo el conocimiento humano si donases..."); algunos vieron una joven interna atractiva; algunos vieron a Jimmy Wales. Los anuncios con Gales recibieron más clics y más donaciones que el resto, por lo que se utilizaron universalmente.
Es fácil imaginar que hay formas de solucionar las molestias de asignar a las personas al azar, o a las escuelas, con una intervención u otra: sin duda, se podría pensar, podríamos mirar a las personas que ya están recibiendo una intervención, u otra, y simplemente monitorizar sus resultados para saber cuál es la mejor. Pero este enfoque sufre de un grave problema. Si no aleatorizamos, y simplemente observamos lo que ya está pasando en las aulas, entonces las personas que reciben las diferentes intervenciones pueden ser muy diferentes entre sí, de manera que son difíciles de medir.
Por ejemplo, si nos fijamos en todo el país, los niños a los que se les enseña a leer de una manera particularmente estricta y específica en la escuela pueden funcionar mejor en una prueba de lectura a los 7 años, pero eso no significa necesariamente que el método de lectura estricto y específico sea el responsable de su mejor rendimiento. Puede que sólo sea que esas escuelas cuenten con los niños más ricos, o un menor número de problemas sociales, sean más capaces de salirse con el uso de este (imaginario) método de lectura estricto, y sus alumnos siempre obtengan mejores resultados en las pruebas de lectura a los 7 años.
Este es también un problema cuando se está emprendiendo una nueva política, con la esperanza de averiguar si funciona mejor que la que ya está en su lugar. Es tentador mirar a los resultados antes y después de que una nueva intervención se ponga en marcha, pero esto puede ser muy engañoso, ya que al mismo tiempo pueden haber cambiado muchos factores. Por ejemplo, si usted tiene un plan de "creación de empleo" que se supone que hará que la gente consiga de nuevo trabajo, puede ser que consiga implementarlo en todo el país en un momento en que la economía se esté recuperando de todos modos, así que más personas conseguirán puestos de trabajo y usted puede engañarse en la creencia de que es su plan de "creación de empleo" el que hizo el trabajo (en el mejor de los casos, se enredará en algunos modelos matemáticos muy complejos y arbitrarios, tratando de descontar los efectos de la mejora en la economía).
A veces la gente cree que poner en marcha un piloto es una forma de evitar esto, pero también es un error. Los pilotos son muy informativos sobre los aspectos prácticos acerca de si su nueva intervención se puede implementar, pero pueden ser muy engañosos al respecto de los beneficios o los daños, ya que los centros que participan en los pilotos suelen ser diferentes a los centros que no lo hacen. Por ejemplo, los centros de trabajo que participan en un piloto de "creación de empleo" podrían estar menos ocupados, o contar con personal más altamente motivado: sus clientes siempre lo van a hacer mejor, por lo que un piloto en esos centros hará que el nuevo plan de empleo se vea mejor de lo que realmente es. Del mismo modo, la ejecución de un piloto de una nueva intervención educativa de moda en las escuelas que ya están funcionando bien, podría hacer que la nueva idea se vea fantástica, cuando en realidad, los buenos resultados no tienen nada que ver con la nueva intervención.
Es por esto que los ensayos aleatorios son la mejor manera de averiguar qué tan bien funciona una nueva intervención: se aseguran de que los alumnos o escuelas que usen una nueva intervención sean iguales que los alumnos y las escuelas que siguen recibiendo la antigua, porque todos los seleccionados al azar son de la misma tipología.
Llegados a este punto, la mayoría de la gente empieza a ponerse nerviosa: ¿De verdad es un error, por ejemplo, decidir qué tipo de educación recibe un niño simplemente por azar? Esto nos lleva a la esencia de por qué hacemos las pruebas, y por qué reunimos evidencia sobre lo que funciona mejor.
Mitos sobre los ensayos aleatorios
Si bien hay algunas situaciones en las que las pruebas no son apropiadas - y donde tenemos que ser cautos en la interpretación de los resultados - también hay varios mitos sobre los ensayos. Estos mitos se utilizan a veces para evitar que se hagan ensayos, lo que ralentiza el progreso, y crea un daño, por lo que nos impide descubrir lo que funciona mejor. Algunas personas incluso afirman que los ensayos no son deseables, e incluso completamente imposibles, en las escuelas: se trata de una idea local, curiosamente, y ha habido un gran número de ensayos en la educación en otros países, como los EE.UU. Sin embargo, los mitos específicos vale la pena discutirlos.
En primer lugar, la gente a veces se preocupa de que no sea ético asignar aleatoriamente a los niños en una sola intervención educativa u otra. A menudo esto está impulsado por una creencia implícita de que una intervención nueva o cara es siempre necesariamente mejor. Cuando la gente cree esto, también se preocupa de que sea un error privar a la gente de la nueva intervención. Es importante tener claro, antes de llegar a los detalles, que un ensayo no implica necesariamente que se prive a la gente de nada, ya que a menudo podemos ejecutar un ensayo donde las personas son asignadas al azar para recibir la nueva intervención ahora, o después de seis meses de espera. Pero hay una razón más importante por la que los ensayos son éticamente aceptables: en realidad, antes de hacer uno, por lo general, no tenemos idea de cuál de las dos intervenciones es la mejor. Por otra parte, las cosas nuevas en las que muchas personas creen a veces resultan, en realidad, ser muy perjudiciales.
La medicina está llena de ejemplos de esto, y es una realidad aterradora. Durante muchos años, era común tratar a todo el mundo que sufriera una lesión grave en la cabeza con esteroides. Esto tenía sentido sobre el papel: las lesiones en la cabeza hacen que el cerebro se hinche, lo que puede provocar que estructuras importantes se aplasten dentro de nuestros cráneos rígidos; pero los esteroides reducen la inflamación (es por eso que se tienen las inyecciones de esteroides para una rodilla hinchada), por lo que deben mejorar la supervivencia. Durante años nadie realizó una prueba sobre esto. De hecho, fue ampliamente argumentado que que los pacientes asignados al azar no fueran conscientes en Emergencias de si recibían esteroides o no sería inmoral e injusto, por lo que los ensayos fueron bloqueados de forma activa. Cuando finalmente se llevó a cabo un ensayo, resultó que los esteroides aumentan en realidad las posibilidades de morir, después de una lesión en la cabeza. La nueva intervención, que tenía sentido sobre el papel, en la que todo el mundo creía, estaba matando a la gente: no en cantidades suficientes como para ser inmediatamente obvio, pero cuando finalmente se hizo el ensayo, dos personas extra murieron de cada cien personas que recibieron esteroides.
Hay casos similares en el mundo de la educación. El programa "Scared Straight" también tenía sentido sobre el papel: los niños pequeños eran llevados a cárceles donde se les mostraban las consecuencias de una vida de crimen, con la esperanza de que fueran más respetuosos con la ley en sus propias vidas. Siguiendo a estos niños que participaron en este programa hasta su vida adulta, parecía que eran menos propensos a cometer crímenes, en comparación con otros niños. Pero aquí los investigadores se sorprendieron por el mismo problema mencionado anteriormente: las escuelas - y también los niños - que fueron al curso de Scared Straight eran diferentes de los niños que no lo hicieron. Cuando finalmente se hizo un ensayo, donde ese error se tenía en cuenta, nos enteramos de que el programa Scared Straight - lanzado con un gran costo, gran entusiasmo, buenas intenciones, y enorme optimismo - era activamente perjudicial, por lo que los niños en su vida eran más propensos a acabar en la cárcel más adelante.
Así que siempre hay que tener cuidado de no asumir que las cosas que son nuevas, o caras, son necesariamente siempre mejores. Pero esto es sólo un caso especial de un tema más amplio: siempre deberíamos ser claros cuando no estamos seguros acerca de qué intervención es mejor. En estos momentos, hay un gran número de diferentes intervenciones utilizadas en todo el país - diferentes estrategias para reducir el absentismo, o enseñar aritmética, o reducir los embarazos de adolescentes, o cualquier número de otras cosas – donde no hay evidencia para decir cuál de los métodos utilizados actualmente es mejor. Existe una variación arbitraria, en todo el país, en todas las ciudades, en la que se utilizan estrategias y métodos y nadie se preocupa de que haya un problema ético con esto.
La asignación al azar en un ensayo añade un resquicio extra para esta desviación existente: necesitamos un grupo de escuelas, maestros, alumnos o padres, que sean capaces de decir con sinceridad: "No sabemos cuál de estas dos estrategias es mejor, por lo que no nos importa cuál utilicemos. Queremos saber cuál es la mejor, y sabemos que no nos va a hacer daño".
Este es un buen ejemplo de cómo reunir pruebas convincentes requiere un cambio de cultura, que se extiende más allá de unos pocos ensayos aleatorios individuales. Se requiere a todos los involucrados en educación para reconocer cuándo es el momento de decir honestamente "no sabemos qué es lo que funciona mejor". Esto no es un llamamiento a la desesperación: en la medicina y en la enseñanza, sabemos que la mayor parte de lo que hacemos hace algún bien (si no estamos mejor que no haciendo nada, ¡entonces todos tenemos un gran problema!). El verdadero reto está en identificar lo que funciona mejor, porque cuando la gente se ve privada de lo mejor, también sale perjudicada. Pero esto también es un recordatorio de cómo la seguridad inapropiada en algo puede ser una barrera para el progreso, sobre todo cuando hay personas carismáticas que dicen que saben lo que es mejor, incluso sin pruebas convincentes.
La medicina sufrió enormemente con este problema, y todavía en la década de 1970 hubo enfrentamientos infames entre las personas que pensaban que era importante realizar pruebas imparciales, y "expertos", que estaban enojados con el hecho de que su experiencia fuera desafiada, y sus prácticas favoritas puestas a prueba. Archie Cochrane fue uno de los pioneros de la medicina basada en la evidencia, y en su autobiografía, describe muchas batallas que tuvo con médicos adjuntos, en magnífico detalle. En 1971, Cochrane estaba preocupado porque las Unidades Coronarias en los hospitales pudieran no ser mejores que la atención domiciliaria, que era la atención estándar para un ataque al corazón en aquel momento (hay que recordar que se trataba de los comienzos en la gestión de ataques al corazón, y los resultados de este estudio no serían aplicables en la actualidad). De hecho, estaba preocupado de que la atención hospitalaria pudiera implicar una gran cantidad de procedimientos de riesgo que probablemente podrían incluso empeorar los resultados de los pacientes en general.
Debido a esto, Cochrane trató de establecer un ensayo aleatorio que comparara la atención domiciliaria con la atención hospitalaria, en contra de una gran resistencia por parte de los cardiólogos. De hecho, los médicos de las nuevas unidades especializadas estaban tan viciados respecto a la noción misma de hacer un ensayo, que cuando finalmente se hizo, y se recogieron los primeros resultados, Cochrane decidió hacer una jugarreta. Estos resultados iniciales mostraron que a los pacientes en unidades de cuidados coronarios les fue peor que a los pacientes enviados a casa; pero Cochrane cambió los números, para que se viera como si a los pacientes de UCC les hubiera ido mejor. Mostró a los cardiólogos estos resultados, que reforzaron su creencia de que era un error de Cochrane atreverse a intentar hacer un ensayo aleatorio sobre si sus unidades especializadas eran útiles. La sala estalló:
"Llovieron los insultos: "Archie", dijeron "nosotros siempre pensamos que eras poco ético. Debes detener este ensayo de una vez. "... Yo dejé que ellos continuaran hablando durante un rato, entonces pedí disculpas y les di los verdaderos resultados, desafiándolos a que dijesen con igual vehemencia que las unidades de cuidados coronarios debían detenerse inmediatamente. Hubo un silencio mortal y me sentí bastante mal porque eran, después de todo, mis colegas médicos.”
Hay reportados enfrentamientos similares en muchos campos nuevos, cuando las personas tratan de someter las ideas y prácticas a pruebas imparciales, en ensayos aleatorios. Pero ser abierto y claro acerca de la necesidad de investigar - cuando no hay buena evidencia que nos ayude a elegir entre las intervenciones - también es importante porque ayuda a asegurarse de que la investigación se realiza haciendo las preguntas pertinentes, atendiendo las necesidades de los profesores, alumnos y padres. Cuando todos los involucrados en la enseñanza saben un poco acerca de cómo se realiza la investigación - y lo que han encontrado las investigaciones anteriores - entonces todos podemos tener una mejor idea de cuáles deben ser las siguientes preguntas.
Pero antes de llegar a la forma en que esto puede suceder, primero debemos acabar con los mitos sobre los ensayos. En lo sucesivo, presentamos todos los casos donde las personas exageran los beneficios de los ensayos.
Por ejemplo, a veces la gente piensa que los ensayos pueden responder a todo, o que son el único medio de probar algo. Esto no es cierto, y diferentes métodos son útiles para responder a diferentes preguntas. Los ensayos aleatorios son muy buenos para demostrar que algo funciona; no siempre son tan útiles para la comprensión de por qué funciona (aunque a menudo hay pistas cuando podemos ver que una intervención funcionó bien en los niños con ciertas características, pero no tan bien en otros). Las investigaciones "cualitativas" - tales como hacer a la gente preguntas abiertas sobre sus experiencias - puede ayudar a dar una mejor comprensión de cómo y por qué las cosas funcionan, o no, sobre el terreno. Este tipo de investigación también puede ser útil para generar nuevas preguntas acerca de lo que funciona mejor, para responder con pruebas. Pero la investigación cualitativa es muy mala para averiguar si una intervención ha funcionado. A veces los investigadores que carecen de las habilidades necesarias para llevar a cabo ensayos o incluso entenderlos pueden sentirse amenazados, y hacen una dura campaña en contra de ellos, al igual que los expertos en la historia de Archie Cochrane. Creo que esto es un error. El truco está en asegurarse de que se utiliza el método adecuado para responder a las preguntas correctas.
Un tema relacionado consiste en elegir el resultado correcto a medir. A veces la gente dice que los ensayos son imposibles, porque no podemos capturar los beneficios intangibles que provienen de la educación, como es hacer a alguien un miembro completo de la sociedad. Es cierto que este resultado puede ser difícil de medir, aunque eso es un argumento en contra de cualquier tipo de medición del logro, y en contra de cualquier tipo de investigación cuantitativa, no sólo los ensayos. Es también, creo, un poco descabellado: hay un montón de cosas que tratamos de mejorar que son fáciles de medir, como las tasas de asistencia, el embarazo adolescente, la cantidad de ejercicio, el rendimiento en las pruebas académicas o de rendimiento específicos, y así sucesivamente.
Sin embargo, debemos volver a las pretensiones excesivamente exageradas a veces hechas a favor de los ensayos, y la necesidad de ser un consumidor crítico de la evidencia. Un error muy común es suponer que, una vez que una intervención ha demostrado ser eficaz en un único ensayo, entonces definitivamente funciona, y debemos usarla en todas partes. Una vez más, esto no es necesariamente cierto. En primer lugar, todos los ensayos se deben ejecutar correctamente: si hay defectos en el diseño de un ensayo, entonces deja de ser una prueba razonable sobre los tratamientos. Pero más importante aún, tenemos que pensar cuidadosamente acerca de si las personas de un ensayo sobre una intervención son similares a la gente sobre la que estamos pensando usar la intervención.
La Nurse Family Partnership es un programa bien financiado y que es popular en todo el mundo. Se demostró por primera vez su eficacia en un ensayo aleatorio en 1977. Los participantes del ensayo fueron madres blancas en un entorno semirural del norte del estado de Nueva York, y hubo quien se cuestionó en su momento si los resultados positivos podrían haber sido algo excepcional, y se habían dado simplemente porque el específico programa de apoyo social que se ofrecía se había adaptado a esta población inusualmente bien. En 1988, para comprobar que los resultados eran realmente aplicables a otros entornos, el mismo programa se evaluó mediante un ensayo aleatorio en madres afroamericanas en la ciudad del interior, en Memphis, y de nuevo se halló que era eficaz. En 1994, se realizó un tercer ensayo en una gran población de madres hispanas, afroamericanas y caucásicas de Denver. Después de que este ensayo también mostrara un beneficio, la gente en los EE.UU. estaba bastante segura de que el programa funcionaba, con un menor número de lesiones infantiles, un aumento del empleo materno, la mejora de "preparación para la escuela", y más.
Ahora, el programa Nurse Family Partnership está siendo llevado al Reino Unido, pero la gente que originalmente diseñó la intervención ha insistido en que debería hacerse un ensayo aleatorio aquí, para ver si realmente es eficaz en un sitio tan diferente como el Reino Unido. Han manifestado específicamente que esperan ver beneficios menos espectaculares aquí, porque el nivel básico de apoyo a las familias jóvenes en el Reino Unido es mucho mejor que el de los EE.UU.: esto significa que la diferencia entre las personas que reciben el programa FNP, y las personas que reciben el nivel normal de ayuda social, será mucho menor.
Este es sólo un ejemplo de por qué tenemos que ser más cuidadosos acerca de si los resultados de un ensayo en una población son realmente aplicables a nuestros propios pacientes o alumnos. También es un ejemplo de por qué tenemos que hacer de los ensayos parte de nuestra rutina diaria, por lo que podemos replicar los ensayos, en diferentes contextos, en lugar de asumir ciegamente que podemos utilizar los resultados de otros países (o incluso de otras escuelas, si tienen radicalmente diferentes poblaciones). Esto no significa, sin embargo, que no podamos confiar en los resultados de un ensayo. Esto es sólo otro ejemplo de por qué es útil saber más sobre cómo funcionan las pruebas, y ser un consumidor reflexivo de pruebas.
Por último, la gente a veces se preocupa de que los ensayos son caros y complicados. Esto no es necesariamente cierto, y es importante tener claro con qué se están comparando los costos de ese ensayo. Por ejemplo, si la elección es entre hacer un ensayo o simplemente seguir adelante con la implementación de una idea que no se ha demostrado que funcione - una que podría ser ineficaz, derrochadora, o incluso perjudicial - entonces claramente vale la pena invertir un poco de tiempo y esfuerzo para evaluar su verdadero impacto. Si la alternativa es hacer un estudio "observacional", que cuenta con todas las deficiencias descritas anteriormente, el análisis puede ser tan caro y complejo - por no hablar de poco fiable - que habría sido más fácil asignar al azar a los participantes a una sola intervención u otra desde un principio.
Pero la mecánica y procesos administrativos para la ejecución de un ensayo también pueden costar un mínimo con un diseño atento, por ejemplo mediante la medición de los resultados a partir de datos de rutina en el aula, que estaban siendo recogidos de todos modos, en lugar de ejecutar un conjunto especial de pruebas. Más que nada, sin embargo, para que los ensayos se ejecuten de manera eficiente, tienen que ser parte de la cultura de la enseñanza.
Hacer pruebas parte de la vida cotidiana
Estoy sorprendido por el mucho entusiasmo que existe por las pruebas y la práctica basada en la evidencia en algunas partes de la educación: pero también estoy sorprendido de que gran parte de este entusiasmo muera antes de que llegue a hacerse bien, porque faltan las estructuras básicas necesarias para apoyar la evidencia práctica. Como resultado, se llevan a cabo un pequeño número de ensayos, pero éstos existen como islas aisladas, sin suficientes puentes que aúnen a las personas y las líneas de trabajo. Esto no es culpa de nadie: la creación de una "arquitectura de la información" de la nada es un gran trabajo, y podría llevar décadas. Los beneficios, sin embargo, son potencialmente enormes. Algunos ensayos aleatorios individuales desde el Reino Unido han producido resultados informativos, por ejemplo, pero estos resultados son entonces mal comunicados, por lo que no informan ni cambian la práctica como deberían haberlo hecho.
Debido a esto, he esbozado los fundamentos de lo que necesitaría la educación, como sector, para abrazar la práctica basada en la evidencia de una manera seria. El objetivo - que espero que todo el mundo quiera compartir - es conseguir hacer más investigación que involucre a tantos maestros como sea posible; y obtener los resultados de la investigación de buena calidad diseminados y ponerlos en práctica. Vale la pena ser claro, sin embargo, que esto es un primer boceto, y una llamada a las armas. Espero que otros quiten y añadan cosas. Pero también espero que la gente sea capaz de actuar a partir de él, porque las estructuras de este tipo en ayuda medicinal consiguen los mejores resultados del buen trabajo - y el trabajo duro - que se realiza en todo el país.
En primer lugar - y sobretodo - es claro que necesitamos mejores sistemas de difusión de los resultados de la investigación para los profesores que ejercen sobre el terreno. Mientras que los estudios individuales se escriben en documentos muy técnicos, en revistas académicas inaccesibles, éstos rara vez son leídos por los profesores. Y con razón: la mayoría de los médicos rara vez se molestan en leer revistas académicas técnicas. El British Medical Journal tiene un breve resumen de las nuevas investigaciones importantes en todo el mundo; y hay un floreciente mercado de personas que ofrecen información resumida accesible sobre nueva investigación "que funciona" a los médicos, enfermeras y otros profesionales de la salud. El gobierno de Estados Unidos ha gastado grandes sumas de dinero en dos sitios web similares para los maestros: "Doing what works", y el "What Works Clearing House". Estas webs son grandes, con recursos de buena calidad, y están escritas de forma relevante para las necesidades de los maestros, en lugar de juegos académicos áridos. Si bien hay algunos recursos similares en el Reino Unido, a menudo no suelen durar mucho, y en una escala más pequeña.
Para que este tipo de recursos sean totalmente útiles, tienen que llegar a profesores que conozcan los fundamentos de "cómo sabemos" lo que funciona. Mientras mucha formación del profesorado ha reflejado los resultados de las investigaciones, esta evidencia ha sido a menudo presentada como un canon completo de respuestas. Es mucho más raro encontrar a jóvenes profesores a los que se enseñan los conceptos básicos de cómo se realizan los diferentes tipos de investigación, y las fortalezas y debilidades de cada enfoque en diferentes tipos de pregunta (aunque algunos maestros individuales han aprendido por sí mismos sobre este tema, a un nivel muy alto). Aprender los conceptos básicos de cómo funciona la investigación es importante, no porque cada maestro deba ser un investigador, sino porque permite a los maestros ser consumidores críticos de los resultados de nuevas investigaciones que van a salir durante las muchas décadas de su carrera. También significa que algunos de los obstáculos a la investigación, que se derivan de mitos y malentendidos, se pueden superar. En un mundo ideal, a los maestros se les enseñaría esto durante su formación básica, y se reforzaría mediante la Formación Permanente del profesorado, junto a resúmenes de las investigaciones.
En algunas partes del mundo, es imposible subir en el escalafón de la enseñanza sin entender cómo la investigación puede mejorar la práctica, y la publicación de artículos en revistas de enseñanza. Los maestros en Shanghai y Singapur participan en "Clubes Journal" regulares, donde discuten una nueva pieza de investigación, así como sus fortalezas y debilidades, antes de considerar si aplicarían sus conclusiones a su propia práctica. Si la respuesta es no, comparten las deficiencias en el diseño del estudio que han identificado, y luego describen mejor la investigación como ellos piensan que se debería hacer sobre la misma cuestión.
Esta es una peculiaridad importante: la comprensión de cómo la investigación se lleva a cabo también permite a los maestros generar nuevas preguntas de investigación. Esto, a su vez, asegura que la investigación que consigue hacerse aborda las necesidades diarias de los docentes. En medicina, cualquier médico puede hacer una sugerencia de investigación al NIHR (Instituto Nacional de Investigación en Salud), y hay organizaciones que mantienen listas de lo que todavía no sabemos, actualizadas por médicos que han tenido que tomar decisiones, sin pruebas de buena calidad que los guiasen. Pero también hay formas menos tangibles en las que esta retroalimentación puede tener lugar.
La familiaridad con los conceptos básicos de cómo funciona la investigación también ayuda a los maestros a que se involucren en la investigación, y para que vean más allá de los mitos peligrosos sobre ensayos como algo activamente indeseable, o incluso "imposible" en la educación. Aquí, hay una notable diferencia con la medicina. Muchos maestros vierten su corazón y alma en los proyectos de investigación para saber si algo funciona; pero en realidad los proyectos a menudo resultan ser demasiado pequeños, siendo dirigidos por una persona de forma aislada, en una sola aula, y carecen del apoyo experto necesario para garantizar un diseño robusto. Muy pocos médicos intentarían y ejecutarían solos un proyecto de investigación cuantitativa en su propia práctica sin el apoyo de expertos en estadística, y sin la ayuda de alguien con experiencia en el diseño de investigación.
De hecho, la mayoría de los médicos participan en la investigación al jugar un pequeño papel en un proyecto de investigación más amplio que es coordinado, por ejemplo, a través de una red de investigación. Muchos médicos están dispuestos a ayudar en una investigación: reclutan participantes de entre sus pacientes; entregan cualquiera de los dos tratamientos comúnmente utilizados asignándolos al azar a sus pacientes; y comparten información médica para los datos de seguimiento. Pero ellos se involucran dejando su nombre en la Red de Investigación de Atención Primaria que cubre su zona. Los investigadores interesados en la ejecución de un ensayo aleatorizado en pacientes de médicos luego van a la Red de Investigación, y encuentran a los médicos con los que trabajar.
Este sistema representa una especie de "servicio de citas" para profesionales e investigadores. La creación de redes similares en la educación ayudaría a unir el entusiasmo que muchos profesores tienen - para la investigación que mejora la práctica - con investigadores, que a veces luchan por encontrar escuelas que deseen participar en la investigación de buena calidad. Este tipo de intercambio bidireccional entre investigadores y profesores también ayudará a los profesores-investigadores del futuro para que aprendan más acerca de los aspectos prácticos de la ejecución de un ensayo; y ayuda a mantener a los investigadores fuera de su torre de marfil, centrándose más en lo que más importa a los maestros.
En el fondo, para los académicos, hay mucho más que decir sobre los detalles. Necesitamos, pienso, financiadores académicos que escuchen a los maestros, y se centren en la puesta en marcha de una investigación que nos ayude a aprender lo que funciona mejor, para mejorar los resultados. Necesitamos que los profesores con habilidades de investigación cuantitativa de los departamentos académicos externos tradicionales de educación - economistas, demógrafos, y más – vengan y compartan sus conocimientos con más frecuencia, de forma multidisciplinar. Necesitamos una colaboración más experta con las Unidades de Ensayos Clínicos, para asegurarnos que los errores comunes en el diseño de ensayo aleatorio se evitan; también es posible que necesitemos -finalmente- Unidades de Ensayos en Educación, ayudando a apoyar la investigación de buena calidad en todo el país.
Pero así como este problema se extiende mucho más allá de un par de proyectos de investigación individuales, también va mucho más allá de lo que una sola persona puede lograr. Estamos describiendo la creación de todo un ecosistema de la nada. Sea o no que suceda depende de docentes individuales, investigadores, jefes, políticos, alumnos, padres y más. Se necesitará de líderes despiertos, sin miedo a cuestionar las ortodoxias mediante la producción de pruebas de buena calidad; y tendrá que llegar a una comunidad que - por lo menos - no malinterprete la práctica basada en la evidencia, o no rechace del todo los ensayos aleatorios.
Si todo esto suena como un montón de trabajo, entonces se debe hacer: llevará mucho tiempo. Pero las ganancias son enormes, y no sólo en términos de mejores pruebas y mejores resultados para los alumnos. En este momento, hay una ola de entusiasmo por la evidencia de buena calidad pasando por todos los rincones del gobierno. Este es el momento de actuar. Los maestros tienen la oportunidad, creo yo, de convertirse en una profesión basada en la evidencia en tan sólo una generación: incorporando la investigación en la práctica diaria; tomando decisiones informadas de manera independiente; y luchando contra el espectáculo extraño de los gobiernos que dicen a los maestros cómo enseñar, porque los profesores pueden utilizar la evidencia de buena calidad que han ayudado a crear para tomar sus propios juicios informados.
También existe una hoja de ruta. Mientras que la medicina basada en la evidencia parece una idea obvia hoy en día - y estaríamos horrorizados al oír hablar de médicos que utilizan tratamientos sin recolección y uso de pruebas sobre lo que funciona mejor - en realidad estas batallas sólo se ganaron en muy recientes décadas. Muchos médicos eminentes lucharon ferozmente, tan reciente como la década de 1970, en contra de la idea misma de la medicina basada en la evidencia, viéndola como un desafío a su experiencia. El argumento a favor de un cambio fue hecho por profesionales jóvenes optimistas como Archie Cochrane, quien vio que la buena evidencia sobre lo que funciona mejor era algo por lo que valía la pena luchar.
Ahora reconocemos que el ser un buen médico o maestro, o administrador, no trata sobre seguir robóticamente la salida numérica de ensayos aleatorios; tampoco se trata de ignorar la evidencia y seguir sus corazonadas y experiencias personales en su lugar. Hacemos lo mejor, mediante la combinación correcta de las habilidades para conseguir hacer el mejor trabajo. ARTÍCULO ORIGINAL EN INGLÉS: http://www.badscience.net/2013/03/heres-my-paper-on-evidence-and-teaching-for-the-education-minister/
Comments