Matematicidad en el trabajo empírico. Por Leopoldo Fergusson

FacebookGoogle+TwitterPrintFriendlyEmailWhatsApp

Paul Romer acaba de iniciar un debate alrededor de la “matematicidad” en la teoría del crecimiento económico con un trabajo presentado en las últimas “meetings” de la American Economic Association. Aunque el artículo mezcla varios argumentos distintos, no todos enteramente justos y algunos de ellos enmarcados en una disputa ideológica sobre el papel del estado en los mercados, el punto principal es poderoso y sencillo: matemáticas no es igual a ciencia.

A Romer le preocupa que los académicos usen las matemáticas (y en ocasiones de forma descuidada) no como una herramienta para explorar abstracciones e investigar rigurosamente la respuesta correcta a preguntas relevantes, sino como una manera de defender con disfraz de ciencia sus teorías preferidas. Este fenómeno de mathiness le parece tan prevalente que teme que el mercado de las ideas colapse: para los consumidores será imposible distinguir entre mera matematicidad y teoría matemática propiamente dicha. Concluye:

Solo quedará la matematicidad. Valdrá poco, pero es barata de producir, luego puede sobrevivir como entretenimiento (…) Presentar un modelo es como hacer un truco de cartas. Todos saben que habrá un juego de manos (…) quizás como con los magos profesionales será descortés, hasta una falta ética, revelar cómo funciona el truco.  

Ya que mucho se ha dicho sobre este debate desde el punto de vista de la teoría, quiero concentrarme en el optimismo de Romer con el trabajo empírico: “En el nuevo equilibrio: el trabajo empírico es ciencia, y la teoría es entretenimiento.”

En particular, y sin querer echar los métodos por la borda, también en el trabajo empírico hay fenómenos afines a la matematicidad y riesgos similares. La matematicidad es consecuencia en últimas de cierta obsesión, sana en cierto grado, por el análisis económico formal. Así mismo, en el trabajo empírico muchos riesgos son consecuencia de una costumbre sana que nos ha demandado ser más rigurosos en nuestro análisis empírico: el talibán de la identificación.

Soy, como muchos de los lectores y contribuyentes de Foco Económico, un miembro (moderado, eso sí) de esta secta. La secta se toma en serio que correlación no implica causalidad. En consecuencia, cree que uno de los principales retos de las ciencias sociales (donde la capacidad de hacer experimentos controlados es, si no nula, bastante limitada) es desenredar la madeja de causalidad que subyace a cualquier relación empírica.

Resumo a continuación algunos riesgos para provocar la discusión:

  1. El problema de la trivialización de la ciencia.

Hacer experimentos sociales controlados es complicado. Aún cuando los podemos hacer, el tipo de preguntas que podemos contestar con ellos es limitado (no podemos inyectar, por ejemplo,  democracia a unas sociedades como quien inyecta una medicina a un ratón para estudiar sus efectos). Entonces, los economistas (o científicos sociales en general) obsesionados con el problema de identificación del efecto causal (sí, la redundancia se usa y nos llena la boca) podemos caer en la trampa de estudiar problemas relativamente triviales: aquellos sobre los que podemos hacer experimentos o para los cuales podemos encontrar experimentos naturales resultado de los accidentes de la historia.

En su (excepto por esto) excelente artículo de consejos para escribir dirigido a estudiantes doctorales, John Cochrane pregunta: ¿Cuáles son las tres cosas más importantes para el trabajo empírico? Su respuesta: “identificación, identificación, identificación”.

Mal. Lo más importante, siempre, es que abordemos una pregunta interesante.

  1. Relegar la teoría.

El entusiasmo con encontrar un efecto causal muy limpio y convincente puede llevar a la mala costumbre de relegar la teoría a un segundo plano. Esto ha sido bien discutido en el área de la economía del desarrollo, donde cierta fascinación por descubrir “lo que sirve y lo que no”, ha llevado a dejar de lado las grandes preguntas y teorías que, acaso, también necesitamos para entender de verdad al mundo.

Sobre este tema, les recomiendo esta interesante reflexión de Jimena Hurtado sobre la tensión entre las (grandes) teorías y el énfasis actual en los experimentos controlados a la luz del enfoque de Albert Hirschman sobre el desarrollo económico. Y también, esta edición especial del Journal of Economic Perspectives, así como este ensayo de Daron Acemoglu.

  1. Los riesgos éticos de los experimentos.

En la medida en que hagamos más y más experimentos en el campo y en el laboratorio, se exacerbará la discusión sobre las implicaciones éticas de nuestras intervenciones. Casos de errores graves como el famoso experimento en Montana, aunque no son representativos de la mayoría de estudios, sí resaltan la importancia de la discusión sobre la influencia en la sociedad de los experimentos en ciencias sociales. Volviendo al ejemplo anterior, aún si quisiéramos, ¿podríamos éticamente inyectar a unas sociedades algo más de democracia y a otras algo menos?

  1. Confunde y reinarás I.

Romer, en su crítica a la matematicidad, denuncia la distancia que existe en ocasiones entre las abstracciones matemáticas y los fenómenos de la realidad que suponen representar. Esa y otras chambonerías le permiten a los investigadores defender sus puntos de vista preferidos con un falso halo de cientificidad.

La verdad es que en el trabajo empírico, la distracción del esfuerzo de identificación en ocasiones facilita a los investigadores saltar a conclusiones que no se derivan de los ejercicios empíricos. Quizás no pasa en grado extremo en las buenas publicaciones, pues unos referees acuciosos deberían obligar a los autores a no saltar a conclusiones que no se deriven estrictamente de los resultados empíricos. Pero sucede en cierta medida.

Mi ejemplo preferido es un caso extremo (no publicado, y sin una estrategia de identificación compleja) que sirve para ilustrar el punto. Este trabajo concluye sobre la guerrilla en Colombia: “Lejos de ser los ideales políticos y sociales la causa del conflicto, los líderes rebeldes necesitan invocarlos para que su negocio sea justificado”. ¿La evidencia? Que en unas regresiones con datos municipales los ataques guerrilleros son más prevalentes en donde han existido ataques en el pasado, cerca de donde hay ataques, y donde hay rentas de qué apropiarse. La conclusión bien puede ser cierta, pero espero no tener que elaborar demasiado para sustentar que la evidencia estadística difícilmente es prueba de ello. Simplemente digamos que unas guerrillas completamente ideologizadas, al igual que unos meros narcotraficantes, podrían estar interesados en concentrar su actividad en municipios donde el botín es mayor.

Este punto tiene que ver con el comentario sobre la teoría. Sin siquiera unos rudimentos de teoría, es fácil que los investigadores ataquen los datos a ciegas. Cuando encuentren un efecto causal, estarán felices. Pero no necesariamente le atribuirán al hallazgo las implicaciones precisas que tiene.

  1. Confunde y reinarás II.

El modo más sencillo de resolver el lío de la causalidad es por supuesto hacer un experimento controlado: medicina para dormir a unos ratones, placebo para los demás. Cuando esto se puede hacer, encontrar el efecto de interés consiste nada más en comparar el promedio de horas de sueño para los ratones con medicina y sin medicina.

Sin experimento, los economistas del talibán de la identificación acudimos a métodos algo más sofisticados que en últimas no hacen otra cosa que replicar hasta donde sea posible las condiciones del experimento con datos observacionales (en contraposición a experimentales): diferencias en diferencias, métodos de emparejamiento, variables instrumentales, y regresión discontinua son las aproximaciones famosas.

El problema es que cuanto más complejo es el método, más posible que se emplee como el truco de magia que denuncia Romer. Ante la confusión, los economistas podemos caer en la tentación de esconder una carta bajo la manga sobre todo frente a audiencias que entienden el lío de causalidad versus correlación (esto lo entiende cualquier persona), pero que no son expertas en estos métodos (pocos tienen por qué aprenderlos).

Por supuesto que esto no es problema si nuestra aplicación del método es rigurosa. Pero no lo es siempre y puede tener implicaciones reales, como cuando la víctima del truco es un funcionario público interesado en evaluar la efectividad de una política social.

Estos riesgos no son más que eso. Gajes del oficio. Pero reitero que la preocupación por la correcta identificación de los efectos causales es en su esencia saludable. Son la obsesión extrema, por un lado, y su aplicación descuidada, por el otro, las que pueden llevar a que se materialicen estos riesgos. ¿Contra esto? Primero, no confundir medios con fines, pues la identificación no tiene gracia sin una pregunta interesante y una teoría razonable. Segundo, conservar siempre el rigor. Para esto tenemos el proceso de revisión por pares, que está lejos de ser perfecto (como lo muestra el famoso incidente de estos días con un artículo en Science). Aunque falte revisar los incentivos para garantizar el rigor en la academia, al menos en nuestra profesión se ha reanimado el interés por aumentar la transparencia y facilitar la replicabilidad de los resultados científicos.

7 Comments

  1. Sebastian Galiani says:

    Hola Leopoldo, creo que planteas una cuestión muy importante: ¿Cómo hacer ciencias sociales? Esta pregunta está en el top de mi agenda futura de investigación. En parte, estoy de acuerdo con lo que vos planteas. Debemos hacernos preguntas relevantes, y cuando se trata de testearlas, debemos utilizar el mejor método de identificación posible. Rechazar un paper simplemente pues no es un experimento controlado es incorrecto, algo que me ha pasado más de una vez. Por su puesto, cuando se puede hacer un experimento controlado, esto es deseable, sin dudas. El conocimiento es incremental, y siempre está sujeto a revisión.

    El problema que vos no mencionas es que no hay acuerdo en ciencias sociales cuáles son esas preguntas. Esto, en mi opinión, también se presta a la manipulación y distintos grupos en la profesión empujan sus propias agendas de investigación determinando que es y que no es importante. Esto también tiene que ser dicho.

    Algunos experimentos que me toca revisar me aburren pues se preguntan cuestiones que en mi opinión no son relevantes. Dudo que superen el test del tiempo. El tiempo hace su trabajo y lo hace bien.

    No he leído aun el paper de Romer pero lo hare pronto. Espero volver sobre estas cuestiones cuando logre avanzar algo en el análisis que tengo en mente.

    Saludos,
    Sebastian

    • Hola Sebastián

      Gracias por tu comentario, creo que tienes razón. No toqué el problema de qué constituye una pregunta relevante. Quizás parte del riesgo que debemos cuidar es que no discutamos, suficiente, esa pregunta: la pregunta por las preguntas relevantes. Siempre habrá desacuerdos, pero en efecto creo que no lo estamos discutiendo suficiente.

      Yo también tengo algo de optimismo sobre los experimentos con preguntas tontas. Como tu, creo que no pasarán el test del tiempo y que, cada vez más, dejan de valer “sólo” por lo astuto del experimento.

      Estaré muy atento a lo que anuncias que vas a trabajar, mantenme al tanto.

      Leopoldo

  2. Javier GC says:

    Habiendo leido el articulo de Romer, en mi opinión lo que habría que enfatizar más no es la matematicidad per se (al final del día, siempre los supuestos matemáticos son discutibles), sino el equilibrio que esto puede generar para la profesión de economistas académicos. En particular, lo que me resulta más preocupante es el hecho que el trabajo editorial y los referatos de los journals caigan en un equilibrio donde los detalles matemáticos no sean analizados con suficiente rigor. El ejemplo que aparece en el articulo de Romer es acerca del trabajo de Lucas y Moll que, segun Romer, tiene un error en el razonamiento matematico que ni los autores (alertados por Romer), ni el editor o los referees dectectaron; pero el articulo apareció publicado nada menos que en el JPE!

    Creo que esto es preocupante porque, si bien es cierto que fuera de la profesión de economistas académicos el uso de la matemáticas siempre ha sido y será criticado, yo siempre deposito mi confianza en que la profesión tiene en el proceso editorial y de referato los “checks and balances” suficientes para asegurar que el uso de las matemáticas sea apropiado. En otras palabras, la critica desde fuera de la profesión no es tan relevante si estamos confiados dentro de la profesión de hacer las cosas correctas. Pero si la “profecía” enunciada por Romer es cierta y los editores y referees empiezan a ser mas light en cuanto a los argumentos teóricos, entonces sí estamos en problemas.

    Saludos

    Javier

    • Hola Javier,

      Tienes razón, ese es un riesgo inquietante. Y se podría decir que al menos en el trabajo empírico, aun cuando el referee típico no replique los ejercicios, los mejores journals ya exigen todos los datos y programas para facilitar reproducir los resultados y, sobre todo los papers que reciben atención, terminan siendo escudriñados independientemente por otros investigadores. Es menos claro que esto suceda de igual manera con los trabajos teóricos.

      Leopoldo

  3. Leopoldo: yo le añadiría a tu cuento la atadura necesaria entre teoría y “empirics” que da forma al conocimiento científico. Lo que yo desdeño un poco (o mucho) de esos que vos llamás talibanes es la ausencia de nociones teóricas, así sea informales. En tu ejemplo sobre la guerrilla, la evidencia empírica que imaginás es satisfactoria si hay una teoría razonable que explique la causalidad –mucho más si no hay una teoría alternativa. Y si hubiera un experimento natural que confirmara el efecto causal, pero no hubiera ninguna noción teórica que la explique (i.e. un mecanismo no necesariamente matemático), igual es poco científico.

    • De acuerdo 100%, creo que sin teoría vamos cojos. Algo traté de decir en los puntos 2 y 4, pero es un tema que da para extenderse mucho más (algunas de las cosas que cita en el punto 2 lo hacen).

      Leopoldo

  4. Mi interesante el articulo.
    Creo que tenemos un problema muy importante los cientificos sociales con esto de testear teorías.
    La pregunta es, si encontras causalidad en un modelo sin ir a la experiencia, cómo poder estar seguro de que esa causalidad actúa en la realidad? Kant, por ejemplo, muestra que se puede “probar” tanto que Dios existe como que no existe por términos estrictamente lógicos.
    Creo que hay que hacer mucho esfuerzo para testear las hipótesis (tratar de contradecirlas por los datos), y si no podemos tenemos que dar una respuesta que nadie quiere dar “No se”.

    Saludos!

Deja un comentario