Matematicidad en el trabajo empírico. Por Leopoldo Fergusson

Paul Romer acaba de iniciar un debate alrededor de la “matematicidad” en la teoría del crecimiento económico con un trabajo presentado en las últimas “meetings” de la American Economic Association. Aunque el artículo mezcla varios argumentos distintos, no todos enteramente justos y algunos de ellos enmarcados en una disputa ideológica sobre el papel del estado en los mercados, el punto principal es poderoso y sencillo: matemáticas no es igual a ciencia.

A Romer le preocupa que los académicos usen las matemáticas (y en ocasiones de forma descuidada) no como una herramienta para explorar abstracciones e investigar rigurosamente la respuesta correcta a preguntas relevantes, sino como una manera de defender con disfraz de ciencia sus teorías preferidas. Este fenómeno de mathiness le parece tan prevalente que teme que el mercado de las ideas colapse: para los consumidores será imposible distinguir entre mera matematicidad y teoría matemática propiamente dicha. Concluye:

Solo quedará la matematicidad. Valdrá poco, pero es barata de producir, luego puede sobrevivir como entretenimiento (…) Presentar un modelo es como hacer un truco de cartas. Todos saben que habrá un juego de manos (…) quizás como con los magos profesionales será descortés, hasta una falta ética, revelar cómo funciona el truco.  

Ya que mucho se ha dicho sobre este debate desde el punto de vista de la teoría, quiero concentrarme en el optimismo de Romer con el trabajo empírico: “En el nuevo equilibrio: el trabajo empírico es ciencia, y la teoría es entretenimiento.”

En particular, y sin querer echar los métodos por la borda, también en el trabajo empírico hay fenómenos afines a la matematicidad y riesgos similares. La matematicidad es consecuencia en últimas de cierta obsesión, sana en cierto grado, por el análisis económico formal. Así mismo, en el trabajo empírico muchos riesgos son consecuencia de una costumbre sana que nos ha demandado ser más rigurosos en nuestro análisis empírico: el talibán de la identificación.

Soy, como muchos de los lectores y contribuyentes de Foco Económico, un miembro (moderado, eso sí) de esta secta. La secta se toma en serio que correlación no implica causalidad. En consecuencia, cree que uno de los principales retos de las ciencias sociales (donde la capacidad de hacer experimentos controlados es, si no nula, bastante limitada) es desenredar la madeja de causalidad que subyace a cualquier relación empírica.

Resumo a continuación algunos riesgos para provocar la discusión:

  1. El problema de la trivialización de la ciencia.

Hacer experimentos sociales controlados es complicado. Aún cuando los podemos hacer, el tipo de preguntas que podemos contestar con ellos es limitado (no podemos inyectar, por ejemplo,  democracia a unas sociedades como quien inyecta una medicina a un ratón para estudiar sus efectos). Entonces, los economistas (o científicos sociales en general) obsesionados con el problema de identificación del efecto causal (sí, la redundancia se usa y nos llena la boca) podemos caer en la trampa de estudiar problemas relativamente triviales: aquellos sobre los que podemos hacer experimentos o para los cuales podemos encontrar experimentos naturales resultado de los accidentes de la historia.

En su (excepto por esto) excelente artículo de consejos para escribir dirigido a estudiantes doctorales, John Cochrane pregunta: ¿Cuáles son las tres cosas más importantes para el trabajo empírico? Su respuesta: “identificación, identificación, identificación”.

Mal. Lo más importante, siempre, es que abordemos una pregunta interesante.

  1. Relegar la teoría.

El entusiasmo con encontrar un efecto causal muy limpio y convincente puede llevar a la mala costumbre de relegar la teoría a un segundo plano. Esto ha sido bien discutido en el área de la economía del desarrollo, donde cierta fascinación por descubrir “lo que sirve y lo que no”, ha llevado a dejar de lado las grandes preguntas y teorías que, acaso, también necesitamos para entender de verdad al mundo.

Sobre este tema, les recomiendo esta interesante reflexión de Jimena Hurtado sobre la tensión entre las (grandes) teorías y el énfasis actual en los experimentos controlados a la luz del enfoque de Albert Hirschman sobre el desarrollo económico. Y también, esta edición especial del Journal of Economic Perspectives, así como este ensayo de Daron Acemoglu.

  1. Los riesgos éticos de los experimentos.

En la medida en que hagamos más y más experimentos en el campo y en el laboratorio, se exacerbará la discusión sobre las implicaciones éticas de nuestras intervenciones. Casos de errores graves como el famoso experimento en Montana, aunque no son representativos de la mayoría de estudios, sí resaltan la importancia de la discusión sobre la influencia en la sociedad de los experimentos en ciencias sociales. Volviendo al ejemplo anterior, aún si quisiéramos, ¿podríamos éticamente inyectar a unas sociedades algo más de democracia y a otras algo menos?

  1. Confunde y reinarás I.

Romer, en su crítica a la matematicidad, denuncia la distancia que existe en ocasiones entre las abstracciones matemáticas y los fenómenos de la realidad que suponen representar. Esa y otras chambonerías le permiten a los investigadores defender sus puntos de vista preferidos con un falso halo de cientificidad.

La verdad es que en el trabajo empírico, la distracción del esfuerzo de identificación en ocasiones facilita a los investigadores saltar a conclusiones que no se derivan de los ejercicios empíricos. Quizás no pasa en grado extremo en las buenas publicaciones, pues unos referees acuciosos deberían obligar a los autores a no saltar a conclusiones que no se deriven estrictamente de los resultados empíricos. Pero sucede en cierta medida.

Mi ejemplo preferido es un caso extremo (no publicado, y sin una estrategia de identificación compleja) que sirve para ilustrar el punto. Este trabajo concluye sobre la guerrilla en Colombia: “Lejos de ser los ideales políticos y sociales la causa del conflicto, los líderes rebeldes necesitan invocarlos para que su negocio sea justificado”. ¿La evidencia? Que en unas regresiones con datos municipales los ataques guerrilleros son más prevalentes en donde han existido ataques en el pasado, cerca de donde hay ataques, y donde hay rentas de qué apropiarse. La conclusión bien puede ser cierta, pero espero no tener que elaborar demasiado para sustentar que la evidencia estadística difícilmente es prueba de ello. Simplemente digamos que unas guerrillas completamente ideologizadas, al igual que unos meros narcotraficantes, podrían estar interesados en concentrar su actividad en municipios donde el botín es mayor.

Este punto tiene que ver con el comentario sobre la teoría. Sin siquiera unos rudimentos de teoría, es fácil que los investigadores ataquen los datos a ciegas. Cuando encuentren un efecto causal, estarán felices. Pero no necesariamente le atribuirán al hallazgo las implicaciones precisas que tiene.

  1. Confunde y reinarás II.

El modo más sencillo de resolver el lío de la causalidad es por supuesto hacer un experimento controlado: medicina para dormir a unos ratones, placebo para los demás. Cuando esto se puede hacer, encontrar el efecto de interés consiste nada más en comparar el promedio de horas de sueño para los ratones con medicina y sin medicina.

Sin experimento, los economistas del talibán de la identificación acudimos a métodos algo más sofisticados que en últimas no hacen otra cosa que replicar hasta donde sea posible las condiciones del experimento con datos observacionales (en contraposición a experimentales): diferencias en diferencias, métodos de emparejamiento, variables instrumentales, y regresión discontinua son las aproximaciones famosas.

El problema es que cuanto más complejo es el método, más posible que se emplee como el truco de magia que denuncia Romer. Ante la confusión, los economistas podemos caer en la tentación de esconder una carta bajo la manga sobre todo frente a audiencias que entienden el lío de causalidad versus correlación (esto lo entiende cualquier persona), pero que no son expertas en estos métodos (pocos tienen por qué aprenderlos).

Por supuesto que esto no es problema si nuestra aplicación del método es rigurosa. Pero no lo es siempre y puede tener implicaciones reales, como cuando la víctima del truco es un funcionario público interesado en evaluar la efectividad de una política social.

Estos riesgos no son más que eso. Gajes del oficio. Pero reitero que la preocupación por la correcta identificación de los efectos causales es en su esencia saludable. Son la obsesión extrema, por un lado, y su aplicación descuidada, por el otro, las que pueden llevar a que se materialicen estos riesgos. ¿Contra esto? Primero, no confundir medios con fines, pues la identificación no tiene gracia sin una pregunta interesante y una teoría razonable. Segundo, conservar siempre el rigor. Para esto tenemos el proceso de revisión por pares, que está lejos de ser perfecto (como lo muestra el famoso incidente de estos días con un artículo en Science). Aunque falte revisar los incentivos para garantizar el rigor en la academia, al menos en nuestra profesión se ha reanimado el interés por aumentar la transparencia y facilitar la replicabilidad de los resultados científicos.