¿Qué sabemos sobre políticas de manejo de recursos educativos?

La educación es uno de los temas centrales de debate en el mundo. En particular aprender qué políticas educativas mejoran la performance de los alumnos y sus potencial futuro es de gran importancia para la región que está muy atrás de los países desarrollados en las pruebas estandarizadas (ver por ejemplo el caso de Argentina).

Hace algún tiempo asistí a esta conferencia: “Políticas Educativas en los Países en Desarrollo: qué sabemos y qué debemos hacer para entender lo que no sabemos” en donde se presentaron distintos estudios relativos a la evolución de la educación en los países en desarrollo y el resultado de diversos programas aplicados. Me gustaría compartir con ustedes algunos temas que me resultaron relevantes.

Para enmarcar la discusión sobre políticas educativas, podemos pensar que mejores niveles educativos se pueden obtener o bien por un aumento en los recursos educativos, o por un cambio en el manejo de los mismos. La mayoría de los estudios se ha concentrado en analizar los efectos de aumentos en los recursos (incrementos en el ratio maestros-alumnos o aumento del gasto en calidad de los docentes o materiales). Sin embargo, la evidencia proveniente tanto de estudios observacionales como de diseños experimentales parece indicar que los efectos de aumentos en los recursos son modestos para explicar la gran brecha educativa existente entre los países desarrollados y los países en desarrollo (ver por ejemplo Hanushek y Woessmann (2011) y Glewwe et al (2011)).

La otra alternativa es explorar cambios en el manejo de los recursos. Podemos definir ampliamente el manejo de recursos educativos como el sistema a través del cual las escuelas se organizan para administrar sus recursos y desarrollar sus actividades. Este concepto incluye tres grandes ramas: el mercado (si las escuelas son públicas o privadas), la administración (si el sistema es centralizado por el Estado o las escuelas tienen mayor autonomía) y la organización al interior de la escuela (incluye por ejemplo el diseño curricular, tamaño de las clases, incentivos y contratación de decentes).

Desde fines de los años 90 la literatura ha virado en esta dirección, analizando temas como la autonomía de las escuelas, el efecto de exámenes de ingreso o exámenes externos, medidas de contabilidad y monitoreo, educación pre-escolar y factores institucionales entre otros (ver por ejemplo Bishop (1999),  Woessmann et. al. (2009), Vandenberghe y Robin (2004), Berlinski et al (2009), Galiani et al (2008)).

En dicha conferencia, presenté un trabajo sobre políticas de manejo educativo que preparamos junto con Ricardo Pérez-Truglia (Universidad de San Andrés y Harvard). En este post voy a dedicarme a la asignación de alumnos a clases en función de su performance, también conocido como “tracking” (track en inglés significa sección o segmento).

Si consideramos cómo deben asignarse alumnos de una misma cohorte en dos clases, una forma sería aleatoriamente; y otra podría ser asignarlos de acuerdo a los resultados obtenidos en algún examen previo (tracking), distribuyendo a los mejores en una clase y a los que relativamente obtuvieron peores notas en la otra clase.

Esta política es sumamente controversial. Por un lado, al agrupar a los alumnos en clases más homogéneas, los docentes pueden enfocar mejor su enseñanza al nivel de la clase lo cual mejora los resultados de los alumnos (esto es una ventaja para ambas clases). Pero por el otro lado, si los alumnos se benefician de tener mejores pares, esta intervención pondría en desventaja a aquellos que hayan sido asignados a la clase con peores alumnos. Es más, otros efectos también podrían generarse si los docentes también reaccionan a la implementación de esta política, por ejemplo dirigiendo sus clases al nivel del estudiante mediano o a los mejores de la clase.

Para analizar los efectos de esta política, es útil pensar en términos del siguiente modelo simple. Supongamos que el parámetro  resume la habilidad o los conocimientos del alumno i en la clase j (variable continua con valores entre ). El docente debe elegir su “habilidad objetivo” o “target”  en el rango  para maximizar la performance de los alumnos. Los estudiantes aprenden mejor cuanto más cerca esté el target del maestro  a su propio nivel . Claramente, la elección del target  depende de la distribución de habilidades de la clase en cuestión. En el gráfico 1, los paneles A y B muestran dos posibles distribuciones. En el caso A, la distribución es unimodal, con lo cual lo más probable es que el docente elija  en el modo de la distribución. En el caso B, la distribución de habilidades es bimodal y la elección de  será en alguno de los modos o en el medio de los dos modos, dependiendo de cuánto más el docente valore la eficiencia en relación con la equidad. Los beneficios de tracking serán mayores si la distribución de habilidades de los alumnos es más parecida al caso B que al A.

Gráfico 1.A. y 1.B.: Potencial Distribución Inicial de Habilidades de los Alumnos

Si no hubiera efectos provenientes de tener peores pares, los efectos de la asignación de los alumnos en función de su performance previa serían positivos. Sin embargo, cuando estos efectos están presentes (como parece mostrar la literatura: Jackson (2010), Zimmerman (2003), Ding y Lehrer (2007) o Burke y Sass (2008)), tracking podría ser perjudicial para los alumnos asignados a la clase de peor nivel, si el efecto negativo de peores pares más que compensa los beneficios de tener docentes que pueden enfocar mejor sus contenidos a las habilidades de los alumnos.

En síntesis, teóricamente, aquellos alumnos asignados a la mejor clase se beneficiarán de estar más cerca del target del docente y de los efectos directos e indirectos de tracking a través de sus pares. Sin embargo, los estudiantes de la clase que tiene un nivel más bajo se beneficiarán de tener un grupo más homogéneo y de estar en promedio más cerca del target del maestro como así también de los efectos positivos indirectos que esto genera en el esfuerzo de los alumnos a través de los pares. No obstante lo cual, pertenecer a una clase con una peor composición en término de habilidades puede contrarrestar estos efectos positivos.

Con respecto a la evidencia empírica, los primeros resultados provienen de estudios no experimentales en los cuales los autores comparan la performance de alumnos que asisten a  escuelas que aplican tracking con la de aquellos que asisten a escuelas que no aplican este sistema (Hoffer (1992); Argys, Rees y Brewer (1996); Hanushek y Woessmann (2006); Betts y Shkolnik (2000)). Ellos encuentran que este sistema fue beneficioso para los estudiantes asignados a la mejor clase y perjudicial para el resto, incrementando las diferencias entre los alumnos.

Sin embargo, esta comparación no es válida para identificar el efecto de tracking, ya que la decisión de inscribir a un niño en una escuela que utiliza este sistema de asignación o en otra que no lo usa, es endógena al nivel de los padres, de los niños y de las escuelas. Existen muchas otras diferencias entre los dos grupos de chicos, además del sistema de la escuela a la que asisten, como su nivel socio-económico y cultural, motivación, IQ, familia, etc. Algunas de las diferencias podríamos tenerlas en cuenta en un modelo econométrico, pero hay otras características que por su naturaleza sería difícil controlar, aun en un modelo econométrico sofisticado. Como hemos enfatizado en otras ocasiones (por ejemplo en este post, cuando estudiamos los efectos de una computadora por chico), lo ideal sería contar con un diseño experimental para identificar el efecto causal del parámetro de interés.

Afortunadamente hay un trabajo que contiene evidencia experimental sobre este tema y provee una estrategia de identificación válida para el efecto de tracking en la performance de los alumnos. Duflo, Dupas y Kremer (2011) realizaron un experimento controlado en Kenia: utilizaron 121 escuelas que tenían solo una clase para los niños de primer grado y las dividieron en dos secciones. En 60 escuelas elegidas al azar de las 121, los estudiantes fueron asignados a las clases en función de su performance previa medida por las notas obtenidas en el primer trimestre de primer grado: distribuyeron a los mejores alumnos a una clase y a los otros alumnos a la otra. En las 61 escuelas restantes, los estudiantes fueron asignados aleatoriamente a las dos clases.

Los resultados son alentadores respecto de los beneficios de este sistema: los alumnos en las escuelas con asignación en función de las notas del primer trimestre obtuvieron en promedio puntajes más altos en los exámenes respecto de los alumnos en las escuelas sin tracking (resultados de 0.14 desvíos estándar más altos). Los estudiantes de todos los niveles en la distribución de notas previas se vieron beneficiados por el hecho de que los docentes enfocaron mejor los contenidos a las necesidades de los alumnos y por el mayor esfuerzo de los alumnos (contrarrestando el efecto de peores pares en la clase de nivel más bajo).

Esta política, de ser satisfactoria, es sumamente costo-efectiva porque es de fácil implementación y no requiere recursos extra: solamente alterar la regla de asignación de alumnos a clases. Sin embargo, como en todo experimento, hay que considerar el contexto en el que se implementa para analizar la posibilidad de generalizar sus resultados. Para empezar, la distribución inicial de los alumnos es muy importante (Gráfico 1): en las regiones más pobres suele ser como en la figura B con cierto grupo de alumnos que tiene necesidades especiales (por ejemplo, sufren de desnutrición o violencia familiar), mientras que en zonas no tan pobres los alumnos suelen tener un nivel más homogéneo disminuyendo las ventajas de especialización que proporciona este sistema. En segundo lugar, si este experimento se generalizara, los docentes podrían elegir en qué clase quieren enseñar y esto podría alterar los resultados. También hay que considerar que si se aplicara masivamente, puede ser que los recursos no se dividan entre las dos clases en forma pareja, por ejemplo para beneficiar a los de la clase de peor nivel, también afectando posiblemente las conclusiones del experimento estudiado. Los efectos tampoco serían los mismos si se aplica en otro grado distinto de primero, en donde los efectos de los pares se espera que sean mayores dada la mayor interacción entre los alumnos (por ejemplo, para realizar las tareas).

Todavía no hay evidencia respecto de esta política de manejo de recursos educativos para América Latina. Podría ser una iniciativa deseable, pero deberían evaluarse sus resultados para ver si puede contribuir a mejorar el nivel de todos los alumnos, tal como sugieren Duflo, Dupas y Kremer (2011) que sería el caso para África Sub-Sahariana y Asia. Este tipo de estudios experimentales son cada vez más frecuentes en los países en desarrollo. Por ejemplo J-PAL (Jameel Poverty Action Lab), institución de la que soy investigador, trabaja en esta línea incluso con una sede en América Latina. Aplicar políticas con diseños que permitan la identificación de los efectos de interés a través de rigurosas evaluaciones es sumamente útil también en el área de educación, para aprender qué tipo de políticas tienen el potencial de ser costo-efectivas para mejorar nuestro sistema educativo.

Referencias:

Argys, L., D. Rees y D. Brewer (1996), “Detracking America’s schools: equity at zero cost?” Journal of Policy Analysis and Management, Vol. 15 (4), pp. 623-645.

Berlinski, S., S. Galiani y P. Gertler (2009), “The effect of pre-primary education on primary school performance”. Journal of Public Economics, Volume 93, 2009, pp 219-234

Betts, J. y Shkolnik, J. (2000), «The effects of ability grouping on student achievement and resource allocation in secondary schools,» Economics of Education Review, Vol. 19 (1), pp. 1-15.

Bishop, J. (1999), “Are national exit examinations important for educational efficiency?” Swedish Economic Policy Review, Vol. 6(2), pp. 349-398.

Burke, M. y T. Sass (2008), “Classroom peer effects and student achievement,” Working Paper 08-5, Federal Reserve Bank of Boston.

Ding, W. y Lehrer, S. (2007), “Do Peers Affect Student Achievement in China’s Secondary Schools?” The Review of Economics and Statistics, Vol. 89 (2), pp. 300-312.

Duflo, E., P. Dupas y M. Kremer (2011) “Peer Effects and the Impacts of Tracking: Evidence from a Randomized Evaluation in Kenya”, American Economic Review, Vol. 101 (5), pp. 1739–1774.

Galiani, S., P. Gertler y E. Schargrodsky (2008), “School Decentralization: Helping the good get better, but leaving the poor behind,” Journal of Public Economics, Vol. 92, pp. 2106-2120.

Glewwe, P., E. Hanushek, S. Humpage y R. Ravina (2011) “School Resources and Educational Outcomes in Developing Countries: A Review of the Literature from 1990 to 2010” in Education Policy in Developing Countries: What Do We Know, and What Should We Do to Understand What We Don’t Know?, Ed. P. Glewwe (forthcoming)

Hanushek, E.A. y Woessmann, L. (2006), “Does educational tracking affect performance and inequality? Differences-indifferences evidence across countries”, Economic Journal, Vol. 116 (510), C63-C76.

Hanushek, E.A. y Woessmann, L. (2011), “The Economics of International Differences in Educational Achievement”, in E.A., Hanushek, Machin, S. and Woessmann, L., Handbook of the Economics of Education: North Holland, pp. 89-199.

Hoffer, T. (1992), “Middle school ability grouping and student achievement in science and mathematics”, Educational Evaluation and Policy Analysis, Vol. 14, pp. 205-227.

Jackson, C. (2010), “Do Students Benefit From Attending Better Schools?: Evidence From Rule-based Student Assignments in Trinidad and Tobago,” The Economic Journal, Vol. 120 (549), pp. 1399-1429.

Vandenberghe, V. y Robin, S. (2004), “Evaluating the effectiveness of private education across countries: A comparison of methods”. Labour Economics, Vol 11 (4), pp. 487-506.

Woessmann, L., Luedemann, E. Schuetz, G. y M.R. West (2009), “School Accountability, Autonomy, and Choice around the World”, Edward Elgar.

Zimmerman, D. (2003), “Peer effects in academic outcomes: Evidence from a natural experiment”, Review of Economics and Statistics 85(1), 9—23.