Los ECA para penetrar la realidad económica
Finanzas

Los ECA para penetrar la realidad económica

Mediciones estadísticas que desatan dudas

Los vecindarios, las comunidades, las familias en situación de extrema pobreza en México son parte del paisaje y coexisten con el hambre de progreso que impera en ciudades y poblados.

Los pobres muchas veces son el centro del mensaje de aquellos que sueñan con el poder, con la justicia social o con el fin de las malas noticias. Es así que los pobres se pasean por el Evangelio, por los discursos políticos de todas las inclinaciones ideológicas y por la agenda de las asociaciones de beneficencia y filántropos.

¿Qué suele seguir? Programas sociales, donativos masivos, becas, misiones. La casa de aquella familia de seis cuyo techo está deteriorado y gotea o cuyo piso es de tierra ve entrar ingresos en forma de un nuevo techo, un nuevo piso o, con mucha frecuencia, efectivo directo para que la familia pueda escoger el piso y el techo que les conviene más, cuando es así, en el mejor de los casos.

DE MACRO A MICRO

Antes de 2000, era mucho más común que los economistas que estudiaban el desarrollo económico internacional examinaran cuestiones "macro", en lugar de estudiar programas "micro" contra la pobreza. Por ejemplo, observarían grandes conjuntos de datos y compararían muchos factores entre países, haciendo preguntas sobre cómo se desarrollaron económicamente los países ricos, mientras que otros se mantuvieron pobres.

A finales de la década de 1990 y principios de los 2000, economistas como Esther Duflo y Abhijit Banerjee en el Instituto de Tecnología de Massachusetts, y Michael Kremer en la Universidad de Harvard, comenzaron a argumentar que también se necesitaba otro enfoque. En su libro Poor Economics (2011), Duflo y Banerjee explican que, en lugar de simplemente estudiar las causas últimas de la pobreza, o la eficacia de la ayuda en general, su pregunta es: “¿Conocemos formas efectivas de ayudar a los pobres?”.

Este enfoque los llevó a ellos y a sus colegas a hacer preguntas de tipo micro como: ¿deberíamos distribuir mosquiteros para combatir la malaria de forma gratuita, o la gente usará menos mosquiteros si los obtienen gratis en lugar de pagar por ellos? (Un estudio aleatorio mostró que regalarlos gratis en Kenia no condujo a un menor uso que cobrarlos). ¿Dar pequeños préstamos (“microfinanzas'') sacará a las personas de la pobreza al permitirles iniciar negocios? Un conjunto de seis ensayos controlados aleatorios (ECA) en seis países mostró poca evidencia de que los préstamos aumentan los ingresos en general, aunque podrían tener otros efectos beneficiosos. ¿Cuáles son los impactos a largo plazo de administrar píldoras antiparasitarias a los niños, en la asistencia a la escuela y los ingresos en la vida posterior?

UNA ALTERNATIVA PARA LA INVESTIGACIÓN

Para dar un poco de antecedentes: los ECA funcionan asignando aleatoriamente a un grupo de personas (el grupo de “tratamiento'') para participar en el programa económico y comparando sus resultados con los de otro grupo asignado al azar (el grupo de “control”). Por el contrario, los estudios "observacionales" hacen uso de datos existentes, sin realizar una "intervención", es decir, sin inscribir personas en un estudio. También es posible utilizar otros métodos que intervienen en lugar de simplemente observar, como los estudios de "diferencias en diferencias" que comparan grupos de control y tratamiento asignados de forma no aleatoria antes y después de un programa.

La belleza de los ECA, según sus adeptos, es que no necesita preocuparse tanto por posibles factores de confusión; estadísticamente, puede estimar los resultados del estudio si la “hipótesis nula” fuera cierta.

El uso de estos otros métodos plantea preguntas difíciles sobre correlación versus causalidad. Por ejemplo, se podría comparar la salud de las personas que comen tofu con la salud de las que nunca lo hacen. Pero, ¿de cuántas formas se diferencian estos dos grupos? Quizá los consumidores de tofu también comen verduras con más frecuencia. Quizás hagan más ejercicio. Entonces, incluso si están más saludables, un investigador necesitaría “controlar” estas diferencias estadísticamente, y ¿qué pasa si hay diferencias en las que no pensaron o no se pueden medir?

En 2003, Duflo, Banerjee y Sendhil Mullainathan, de la Universidad de Chicago, fundaron el Laboratorio de Acción contra la Pobreza Abdul Latif Jameel (J-PAL). Desde principios de la década de 2000, los investigadores afiliados a J-PAL, así como al Banco Mundial y al Departamento de Desarrollo Internacional (DFID) en el Reino Unido, han realizado cientos de ECA en países de ingresos bajos y medianos sobre educación, finanzas, programas de inclusión y salud.

Muchos dentro y fuera del campo han descrito este aumento de los ECA como de un impacto dramáticamente positivo. En algunos casos, el movimiento ha sido elogiado como revolucionario, por ejemplo, por el político y economista australiano Andrew Leigh en Randomistas: How Radical Researchers are Changing Our World (2018).

DESACUERDO

Los ECA se han enfrentado a la crítica, chocando con argumentos como el de Nancy Cartwright, filósofa de la ciencia de la Universidad de Durham en el Reino Unido, quien ha sido crítica con la idea de que se puede averiguar lo que funciona para resolver ciertos problemas utilizando ECA. En general, sostiene que este punto de vista es demasiado simple.

Junto con el Premio Nobel Angus Deaton, Cartwright sostiene que los investigadores y las organizaciones que realizan ECA a menudo exageran su valor como evidencia. En un artículo de coautoría, argumentan que los ECA son un método entre muchos que pueden ser útiles, pero no deben considerarse como el "estándar de oro" de la investigación. Gran parte de su razonamiento sobre por qué la evidencia de los ECA no es preferible a otros métodos de estudio se centra en la validez externa. Cartwright y Deaton argumentan que el contexto de las intervenciones sociales es, con frecuencia, muy complicado, con muchos factores relevantes en juego que fácilmente pueden estar ausentes en un nuevo contexto. "Los procesos causales a menudo requieren estructuras económicas, culturales o sociales altamente especializadas que les permitan funcionar", escriben. Por lo tanto, para aplicar los hallazgos más allá del contexto original, se debe tener una teoría sobre qué “factores de apoyo” son importantes, es decir, factores adicionales que funcionan junto con el tratamiento para crear el resultado observado.

Cartwright y Deaton concluyen que, para que la evidencia de los ECA sea útil para nuevos contextos, los investigadores y los formuladores de políticas deben tratar de comprender no sólo que un tratamiento funciona en algún contexto específico, sino por qué funciona. La aplicación de la evidencia de los ECA a un nuevo contexto requiere muchos supuestos, argumentan, por lo que la supuesta ventaja de los ECA (es decir, que requieren relativamente pocos supuestos) no es realmente una ventaja cuando se trata de usar la evidencia para la política, porque a menudo se requiere aplicar los resultados en lugares fuera del contexto original. Esto es cierto tanto para contextos nuevos (como un país nuevo) como para aplicar los resultados de un estudio a un individuo.

NO HAY MÉTODO DEFINITIVO

Hay muchos problemas potenciales con los estudios de investigación, incluidos los ECA, que pueden surgir y comprometer nuestra capacidad para confiar en los resultados. Uno de los más importantes es el sesgo de publicación: el sesgo hacia la publicación de resultados positivos mientras se ocultan los resultados nulos en el cajón de archivos proverbial. Existe alguna evidencia de que este problema es menos importante con los ECA que con otros métodos de estudio: los ECA en economía del desarrollo tienden a ser costosos y requieren mucho tiempo, y los resultados pueden ser interesantes y publicarse independientemente de sus hallazgos. Pero sigue siendo algo de lo que preocuparse.

Las principales preocupaciones sobre el sesgo de publicación y los informes selectivos no son exclusivas de los ECA, pero sirven para moderar una visión inflada de la capacidad del movimiento de estos para ofrecer respuestas sin complicaciones. Claramente, los ECA pueden sufrir muchos problemas que reducen nuestra capacidad de confiar en sus resultados, al igual que otros métodos. Eso podría estar claro para la mayoría de los investigadores que pusieron en marcha el movimiento, pero parece que a muchos de ellos les vendría bien un recordatorio.

En lugar de ver este tipo de crítica como una señal de que algo salió mal, se puede pensar que es exactamente lo que se necesita: un escrutinio minucioso y sostenido de los detalles de determinados ECA; discusión sobre cuándo realizar un ECA versus otro tipo de método, y sopesar cuánto invertir en formas micro versus macro de tratar de ayudar a las personas. No se puede responder fácilmente a estas preguntas, pero no hay que dejar de intentarlo.