Los efectos de largo plazo de una intervención pública en educación (y II)

A mediados de mayo les contaba los resultados de un experimento de largo plazo en educación. Un experimento en el que adolescentes desfavorecidos recibían atención individualizada de un asistente social, ayuda psicológica e incentivos monetarios para tener buenos resultados en la escuela. Los resultados eran decepcionantes. Efectivamente los chicos respondían al tratamiento, pero a los pocos años los estudiantes no tratados les alcanzaban en términos de tasas de graduación, asistencia a la universidad o probabilidad de estar empleados. En aquel momento les prometí hablar de algo más esperanzador.

Pues ya ha llegado el momento. De hecho, para completar el contexto, la semana anterior les había hablado de los experimentos de Roland Fryer . Fryer descubría que incentivar a los críos a leer (pagando por libro leído) era más efectivo que pagarlos por resultados en los exámenes. Pero como ya les advertí en aquel momento, Fryer está sobreinterpretando sus resultados. Él está comparando dos experimentos diferentes.

En uno de ellos el grupo tratado recibe un pago por leer libros, y el de control no recibe pago. En este experimento, los tratados tienen mejores resultados en los exámenes estandarizados de lengua. En los otros experimentos, unos chicos reciben un pago si tienen buenas notas en los exámenes y el grupo de control no lo recibe. En este experimento no se observan resultados distintos entre el grupo tratado y el de control. Fryer concluye que los incentivos sobre los inputs (el esfuerzo observado) tienen más efecto que los incentivos sobre los outputs (el resultado observado). Puede ser, pero desafortunadamente Fryer no hizo un tratamiento suficientemente completo para llegar a esta conclusión Para ello debería haber seleccionado al azar un grupo al que le da el incentivo al input, otro al output y un grupo de control. Pero no es esto lo que hizo. El experimento de inputs lo hizo en Texas y el de outputs en Nueva York. Pero para mí lo más interesante es que el experimento de inputs fue con niños de segundo de primaria y el de outputs con niños de cuarto o séptimo (nuestro primero de ESO).

Esta diferencia es crucial, porque nos lleva a otro grupo de experimentos de largo plazo muy interesantes, relatados por ejemplo en un artículo de Heckman. Estos experimentos muestran, en palabras de este autor que “actuaciones de alta calidad sobre niños en su primera infancia fomentan sus capacidades, lo que permite atacar la desigualdad en su origen. Las actuaciones precoces también aumentan la productividad de la economía”.

Los experimentos mencionados en el párrafo anterior son el Programa Preescolar Perry (Perry Preschool Program) y el Programa Abecedario (Abecedarian Program). Estos programas son útiles porque se desarrollan de manera experimental. Es decir, los alumnos tratados se escogen al azar y se observan los resultados en el grupo tratado y el de control. Pero también son útiles porque como en el experimento que analizaba Núria Rodríguez-Planas se recogen datos durante periodos largos de tiempo (incluso tras la finalización del tratamiento). Así se pueden observar los efectos sobre los individuos tratados y no tratados en términos de logros académicos, rendimiento en el trabajo y conducta social, mucho tiempo después de la conclusión de las actuaciones. El Programa Perry consistió en una sesión diaria en el aula de 2,5 horas, además de una visita semanal de un profesor al hogar familiar de 90 minutos de duración. Los participantes fueron 58 niños negros pobres de Michigan entre 1962 y 1967, durante 30 semanas al año. Los grupos de tratamiento y de control fueron objeto de seguimiento hasta la edad de 40 años. El Programa Abecedario estudió a 111 niños, procedentes de familias con alta puntuación en un índice de riesgo social. La edad media de entrada fue de 4,4 meses. Este programa fue más intensivo. Su duración fue de un año completo y conllevaba atención durante todo el día. Los niños tratados fueron objeto de seguimiento hasta los 21 años.

Los datos procedentes de estos programas sugieren que los aumentos iniciales de cociente intelectual (CI) desaparecen con el transcurso del tiempo, pero el rendimiento académico es claramente superior. En el Programa Perry, por ejemplo, el porcentaje de estudiantes en educación especial se reduce a la mitad (del 34% al 15%) en el grupo de tratamiento con respecto al grupo de control, el porcentaje por encima del percentil 10% en resultados académicos pasa del 15% al 49%, más del triple, y el porcentaje que se gradúa a su debido tiempo en educación secundaria pasa del 45% al 66%. Esto se traduce en una proporción mucho mayor de individuos que ingresan por encima de 2.000 dólares al mes (del 7% al 28%), poseen una vivienda (del 13% al 36%) o nunca precisan asistencia social (del 14% al 29%). La caída de las tasas de criminalidad entre esos niños resulta igualmente drástica, ya que la proporción de arrestos cae prácticamente a la mitad. Heckman y sus coautores calculan a este programa una tasa de rentabilidad de alrededor del 10% que para un programa público es uno de los más elevados que conozco.

La evidencia experimental de estos programas confirma lo que sabemos por otras vías. La inteligencia humana tiene muchas dimensiones y el éxito social no depende en exclusiva del CI. El programa Perry y Abecedario no consiguen modificar a largo plazo el CI, pero sí los resultados académicos. Heckman y sus coautores han trabajado de manera intensiva sobre la formación de habilidades no cognitivas y sus resultados en el mercado de trabajo (véanse, por ejemplo, Heckman 2007, o Cunha y Heckman 2009). Estos estudios sugieren que vale la pena examinar con detalle los programas de educación preescolar porque dada la evidencia que discute Heckman y la evidencia complementaria de Fryer o Rodríguez-Planas me parece que una intervención temprana sobre los grupos de niños menos favorecidos tiene visos de ser una mejor inversión que una intervención tardía. Pero dado su coste, me parece que es importante que la inversión no sea indiscriminada, sino que se concentre de manera intensiva en los niños en situaciones de mayor riesgo y que la intervención se enriquezca con actuaciones fuera del aula.

Hay 10 comentarios
  • "La evidencia experimental de estos programas confirma lo que sabemos por otras vías. La inteligencia humana tiene muchas dimensiones y el éxito social no depende en exclusiva del CI. El programa Perry y Abecedario no consiguen modificar a largo plazo el CI, pero sí los resultados académicos"

    El CI no es, ni nunca ha pretendido ser, una medida de la inteligencia humana en general sino una medida de la capacidad de una persona de absorber eficazmente la educación y obtener buenos resultados académicos. Es una medida de la capacidad de aprendizaje en un sistema educativo concreto. Si los "tratamientos de refuerzo" contenidos estos experimentos consiguen mejorar notablemente los resultados académicos, y la carrera profesional, aún cuando no hacen que mejore el CI lo que estos experimentos nos estarían diciendo es simplemente que el CI no está funcionando y debe modificarse su construcción, ya que la único sentido que tiene la existencia del CI es predecir el éxito académico (y el objeto principal de la educación académica es proporcionar un futuro profesional).

    ¿Deberíamos por tanto plantearnos el desechar el CI o modificar su construcción ya que Perry y Abecedario parecen capaces de modificar los resultados académicos sin que se modifique el CI que precisamente debería predecir esos resultados, algo así como que Perry y Abecedario consiguen que varíe la temperatura sin que cambie la lectura del termómetro?

    Quizás pero hay otra posibilidad bastante más probable: que el CI sí esté bien construido y que Perry y Abecedario sean los que estén construidos defectuosamente.

    Este tipo de experimentos son experimentos ideológicos. No tratan de determinar honestamente cómo es la realidad sino que están diseñados para proporcionar un cierto barniz de respetabilidad experimental a prejuicios ideológicos. Todo esto hace que sus resultados no puedan tomarse en serio. Las instituciones, los voluntarios y los investigadores que se ofrecen a participar en estos experimentos saben, todos ellos, cuál es el resultado que debería dar el experimento y, naturalmente, el experimento da el resultado que todos ellos desean obtener.

    Los profesores que evaluaron a los alumnos para otorgarles ciertas notas en los exámenes, ciertos resultados académicos, ¿sabían que alumnos formaban parte del grupo de control y qué alumnos formaban parte del grupo que recibía la atención especial? Y si no debían saberlo, ¿Cómo pudo construirse este "doble ciego" si el chico que formaba parte del grupo experimental sabía que formaba parte de ese grupo? Quienes contrataron a esos estudiantes cuando acabaron sus estudios, ¿Pudieron ser influidos por sus expedientes académicos a la hora de asignarles un puesto y un salario?

    Por si el que los resultados de un "experimento" sin ningún valor experimental entren en contradicción con algo como el CI que tiene una calidad científica muchos órdenes de magnitud mayor no nos hicieran sospechar los suficiente, disponemos de un resultado que demuestra sin ningún género de dudas la falsedad de estos resultados experimentales: la "tasa de rentabilidad" de este programa público.

    Como sabemos con certeza que un programa público no puede tener una rentabilidad positiva, la aparente obtención de esa rentabilidad positiva en este programa es una demostración concluyente de que los resultados obtenidos son ficticios.

    El que al padre de un chico le nombren Ministro de Educación hace que los resultados académicos y más adelante el éxito de su carrera profesional de ese chico mejoren de manera estadísticamente significativa y eso sin que se aprecie cambio alguno en el CI que indican los test standard. Todo esto, sin embargo, no indica ningún cambio en el chico sino que indica un cambio en sus profesores y en sus evaluadores. En concreto nos indica que esos profesores y esos evaluadores saben que están enseñando o examinando al hijo del ministro.

  • Vaya, no sabía que un programa público tenía que tener una tasa de rentabilidad social negativa. Primera noticia.

  • Detalle de la Educación en España y mas concretamente en la Comunidad de Madrid:
    a mi hijo con siete años se le diagnostica altas capacidades en la Comunidad de Madrid. Hoy tiene trece años y todavía no ha tenido acceso a ningún curso extraescolar por parte de la comunidad de madrid ni tampoco ningún curso de enriquecimiento curricular por parte del colegio. Al revés, es más un problema para el centro. Actualmente, con trece años está realizando un curso a distancia (sin tutor y mediante un CD) de la facultad de informatica de la Universidad de Castilla - LaMancha . Así nos luce el pelo.

  • Existe una amplia literatura en politica social, psicologia evolutiva y criminologia sobre este tipo de programas (early childhood intervention) como una forma de intervencion sobre estas poblaciones. Generalmente, los resultados son bastante positivos en un amplio espectro de 'outcomes' (incluido el comportamiento antisocial y delictivo). El Perry Preschool, como algunas de estas otras intervenciones, son generalmente aplicadas en plan piloto de forma muy controlada. Uno se puede cuestionar en que medida los resultados se pueden extrapolar a situaciones en que se adaptan como modelo de politica social. Para ver que ocurre cuando este tipo de iniciativas se generaliza como modelo de invertencion os recomiendo ver la evaluacion mas reciente de Sure Start en Inglaterra y Gales. Los resultados siguen siendo positivos, incluso a corto plazo.
    http://www.dcsf.gov.uk/everychildmatters/research/publications/surestartpublications/1974/

  • En resumen, que cuando llegan a primaria, y no digamos a secundaria, la suerte está echada (en la mayor parte de los casos).

    Supongo que todavía falta mucho por investigar, pero si la tendencia que apuntas se confirma, daría la razón a la percepción de muchos profesores de secundaria: ya no tienen remedio (o la mayoría no lo tienen). Una forma de reaccionar es echar la culpa a los maestros, a la primaria, pero esto indica que más bien sería la preescolar (o como se llame ahora; antes de los 6 años).

    Pero los estudios que nos ocupan tenderían a dar la razón a la afirmación que en forma de chascarrillo dice que el problema está fuera de la escuela, en casa, pero con un nuevo significado: el problema está antes de la escolaridad tradicional (alrededor de los 6 años).

    Una de las ideas en que insisten los diseños curriculares de las autoridades educativas en secundaria es la educación en valores. Y lo que las investigaciones objeto de comentario indicarían es que eso no sirve más allá de un conocimiento puramente intelectual para quien tiene el hábito de estudiar (como saber los afluentes del Ebro).

    Y existe una tradición, por lo que sé especialmente visible en los autores católicos (y la Iglesia Católica tiene experiencia al respecto), que viene a decir -quito los matices- que llegada cierta edad la formación moral ya está terminada. Al alumno le entrará por un oído "sé bueno" y le saldrá por el otro. Evidentemente, dada una circunstancia determinada, el individuo podrá buscar información y consejo, incluso podrá "convertirse", pero no es a eso a lo que se refiere la "educación en valores", que pretende transformar las actitudes por la acción de la enseñanza reglada.

  • Me pregunto qué ocurriría si una multinacional farmacéutica tratase de comercializar un nuevo antibiótico en Reino Unido basándose en una prueba clínica que siguiese la misma metodología que usa "everychildrenmatters". Incluyendo una valoración de los efectos adversos obtenida por medio de un entrevistador que simplemente pregunta qué efectos secundarios han notado a quienes han recibido en nuevo tratamiento experimental y lo hace además, ¡visitando a los interesados en su propia casa! Siendo la variable que distingue al grupo experimental del grupo de control !precisamente el barrio dónde viven!

    Por otro lado, para evaluar la "rentabilidad" de estos programas, además de medir los resultados positivos que producen ¿No deberíamos incluir en la evaluación también el costo?

    Parece claro que si aumentamos un 30% el gasto en sanidad pública, casi seguro, obtendremos una mejora de la salud de los ciudadanos pero, entonces, ¿Por qué no aumentar un 70% el gasto sanitario, o un 150%? ¿Por qué no multiplicar por 50 el gasto sanitario? Quizás porque no se trata de determinar si un aumento del 30% del gasto sanitario público produce alguna mejora sino que lo que se trata de determinar es si esa mejora es proporcional a ese esfuerzo de gasto o, dicho de otra manera, si es ese aumento del 30% la forma más afectiva de emplear esos recursos o hay otras formas de utilizar los recursos que son más efectivas logrando resultados.

    Los programas de intervención infantil en áreas deprimidas tienen un coste y ese coste debe ser tenido en cuenta porque ese coste supone un aumento de la presión fiscal y ese aumento de la presión fiscal reduce las rentas reales de esas familias. De forma que lo que hay que preguntarse es si el futuro de esos niños mejora más si disponen de un programa público de ayuda, que supone una menor renta de sus familias, o si ese futuro es más esperanzador si no se aplica ese plan público y el ahorro consiguiente se traduce en que sus padres tengan más posibilidades de encontrar empleo y de tener unas rentas reales mayores.

    Cualquier intervención que no suponga costo alguno debe de tener, obviamente, una rentabilidad positiva o, en el peor de los casos, una rentabilidad nula. El problema es que no es de eso de lo que estamos hablando. Los programas públicos no son, precisamente, programas con costo cero.

  • El experimento tal y como se ha descrito, de dar incentivos económicos por la obtención de buenas calificaciones o por la lectura, se encuadran dentro del ámbito de la psicología conductista y está llena de ese espíritu pragmático-por-la-vía-rápida que se asocia, con razón, a la psicología americana, sedienta de resultados "a corto" sin detenerse en las causas ni si el camino seguido es el adecuado
    Otro rasgo de este tipo de aproximación a los problemas es la fascinación por la estadística, como si la complejidad del proceder humano y sus estrategias se puedan simplificar al máximo, en plan entomológico (ni siquiera en este ámbito creo que esto funcione)

    Efectivamente, por lo que he observado, lo que he dado por definir varias veces como la "visión (Ética) del mundo" se desarrolla de forma muy temprana en el niño, por que conforma los "juicios sintéticos a priori" (usando el lenguaje kantiano) en su forma de proceder, es la predisposición a la forma de actuación, el mecanismo por lo que el individuo establece los "juicios de valor" y esa formación de una identidad la recibe el niño sobre todo de la familia y también, normalmente en menor medida, del entorno

    El mecanismo de absorción de la "visión ética del mundo" se produce a través del seguimiento de MODELOS, que son los que señalan la dirección en el juicio y en la praxis, y de los que los niños heredan los "valores".
    El niño no interpreta a los personas que toma como modelos como un sumatorio de virtudes o defectos, no tiene esa capacidad crítica desarrollada, cuando escoge un modelo, lo hace con todas las consecuencias, es un fenómeno de índole afectiva, no intelectual, y la inteligencia, en este caso, sólo sirve para una construcción más o menos refinada de las coartadas que sustentan el modo de actuar y de seguir al modelo, de ahí las resistencias a la "seducción" por parte de otra índole de modelos que los educadores intentan imponer

    La dificultad última de la enseñanza reside en la manera adecuada de sugerir modelos de conducta adecuados, y es que éstos NO se adquieren a través del contenido de los textos, que son realidades vacuas carentes de "sentido" (sentido filosófico se entiende) sino que ha de ser quien imparte el conocimiento (de la vida en la familia y en menor medida en la escuela), con su ejemplo o con su vida, es el que imparte el "sentido"

    Esto lo sabía muy bien el hinduismo donde el libro sagrado Upanishad significa "junto al maestro" pues es de la vivencia de la "forma" ética del maestro como el discípulo aprendía a ver el mundo y formarse, y no la recepción del contenido formal de la doctrina explicitada en un texto que no "dice" nada

  • Para mi la educación es compromiso, responsabilidad, vocación de los maestros...Se puede avanzar en los metodos donde los mismos niños actuan de profesores de alumnos mas rezagados, es pura empatia.

    La etica, los valores no es trabajo de los maestros es trabajo de los padres.

  • "Para cambiar es necesario saber; para saber hay que aprender; y para aprender hay que hacer grandes sacrificios"
    Samuel Aun Weor

  • Luisito, por definición, para calcular la rentabilidad social hay que tener en cuenta los costes del proyecto.
    Los análisis coste-beneficio cuantifican el beneficio social de un proyecto, tanto en términos de utilidad como de ahorro futuro del estado (por ejempo, si el programa reduce la cantidad de esos chavales que acaba en la cárcel, está disminuyendo la población reclusa y los costes del sistema judicial; si disminuye la exclusión los programas de inclusión social para adultos y adolescentes serán menores etc.), al ser esos chavales más productivos en el futuro -que al fin y al cabo es para lo que hay una educación pública- ganarán más tanto ellos como la sociedad en su conjunto y un largo etc.

Los comentarios están cerrados.