Otra prueba, otros resultados

La semana pasada fui invitado por parte de la organización EF (Education First) para conocer los resultados de su English Proficiency Index (Índice de Proficiencia en Inglés), una medida diseñada por la misma organización para comparar el nivel de manejo de la lengua inglesa por parte de las poblaciones en una muestra de países del mundo, y cuyas conclusiones, tanto como el informe en si mismo, merecen ser estudiadas con un grado de detenimiento.

El índice, calculado a partir de los resultados del Standard English Test desarrollado por la misma organización, plantea varias preguntas alrededor de su validez a partir de la representatividad de la muestra sobre la cual fue calculada la medida. Con una muestra de 12,400 adultos participantes de los programas de Education First, comparados con, por ejemplo, los 22,1154 bachilleres que presentaron la prueba Saber 11, cabe preguntarse si esta muestra puede arrojar resultados válidos sobre la proficiencia en lengua inglesa de un país al ser esta una muestra condicionada por la vinculación de los participantes a EF. Por otro lado, la utilización de una prueba diseñada por EF y no un instrumento independiente y validado de manera externa (como podría serlo el IELTS, por ejemplo), plantea dudas sobre la validez del instrumento; aun cuando EF ha hecho un trabajo para estandarizarlo y compararlo con el IELTS, afirmaciones como la hecha por Minh Trang, director de investigaciones de EF sobre el hecho que los resultados del IELTS no reconocen los niveles A1 y A2 del marco común europeo es una afirmación que no se aproxima a la realidad del todo. A fin de cuentas, si el examen iguala una banda de puntaje de 4 con el nivel B1, se puede suponer que las bandas de la 0 a la 3 en el IELTS se corresponden con los niveles de competencia A1 y A2. En ese sentido, las afirmaciones hechas por Trang pueden ser vistas como diseñadas para plantear una confusión improcedente e innecesaria. Finalmente, las mismas características de la muestra y el enfoque dado por EF al proceso terminan por desconocer los avances hechos desde el sector público. Resulta aún mas problemático el hecho de que EF no tiene ningún interés en hacer una articulación con el sector público; esto plantea dudas serias sobre la pertinencia del informe si, a fin de cuentas, no busca tener un efecto sobre la formulación de política.

Ya viendo los resultados, se corresponden con anteriores discusiones que ponen de manifiesto el bajo nivel de la población colombiana en lo que se refiere a su proficiencia en lengua inglesa, con un puntaje que la ubica dentro de los mas bajos del continente, incluso con una reducción de desempeño con respecto a medidas de años anteriores. Además de los bajos puntajes, el índice destaca el hecho de que los pocos profesionales proficientes en lengua inglesa no se encuentran en las profesiones que más requieren esta capacidad para la articulación con mercados internacionales. Sin embargo, llama la atención el hecho, destacado por el informe, que las cohortes mas jóvenes de la población presentan una diferencia positiva en su proficiencia en lengua inglesa, planteando la posibilidad de una mejora a futuro.

Debido a las dudas metodológicas que presenta el informe y su efecto no significativo sobre la política pública en enseñanza de lengua inglesa, el EPI pierde mucho de su poder explicativo y descriptivo; sin embargo, algunas de las conclusiones que sugiere plantean la pregunta sobre la evaluación de la efectividad de las políticas de lengua inglesa que se están implementando en este momento, evaluación que debe hacerse desde el entendimiento de un efecto a largo plazo, no inmediato.