Entrevista a Rafael Vidal Uribe

LAISUM

México, 01/05/2016

En días pasados el equipo LAISUM tuvo la oportunidad de conversar con el Maestro Rafael Vidal Uribe, Coordinador General de los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES). A continuación reproducimos lo que consideramos temas prioritarios abordados en esta charla. Esperamos que sea el inicio de debate en torno a la calidad y la evaluación de la educación superior mexicana.

El modelo de evaluación y de calidad en México

Equipo LAISUM: Los Comités Interinstitucionales para la Evaluación de la Educación Superior surgieron en 1991 como parte del modelo de evaluación y aseguramiento de la calidad de la educación superior impulsada por el gobierno federal. La evaluación se realiza mediante la evaluación por pares académicos y tiene como fin asignar una evaluación para determinar qué programas educativos pueden considerarse de calidad y los que no. ¿Qué modelo de calidad está detrás de los CIEES?

Rafael Vidal: Tenemos una filosofía: evaluamos los programas en función de sus propósitos. Evaluamos las carreras de las Escuelas Normales, Institutos Tecnológicos, de las universidades, de la UNAM, del IPN, podemos evaluar cualquiera de los 35,000 programas educativos en el país. Los hacemos no respecto de un modelo preestablecido de universidad sino de su misión y sus propósitos. Por ejemplo identificamos qué quiere lograr el programa y si eso que quiere lograr es pertinente, si es adecuado o correcto, miramos si tiene los elementos para lograr lo que se propone. Una vez que se identifica qué quieren lograr en los estudiantes, se evalúa si lo pueden lograr. Ese es un primer enfoque.

Antes lo que se solía hacer era comparar a los programas contra una especie de modelo teórico de las grandes universidades, pero hay montones de instituciones de educación superior que no llenan ese modelo y automáticamente quedaban excluidas de lo que se podría llamar buena calidad. Hemos establecido un modelo que evalúa 12 categorías contra los cuales hay que comparar, no son estándares cuantificables pero sí son criterios de buena calidad.

Entonces ¿Qué es la buena calidad para los CIEES y qué se evalúa? Satisfacer los estándares, una lista que consta de cuatro ejes y 12 categorías que agrupan 68 indicadores. Se evalúan los fundamentos y condiciones en los que opera el programa, el currículum específico y genérico del programa, el tránsito de los estudiantes por el programa y sus apoyos, el personal académico e infraestructura con la que opera. En estas 12 categorías se evalúan los fundamentos, la misión y visión y los propósitos del programa, ¿qué te propones lograr?,¿cuál es el perfil de egreso?,¿cuáles son las condiciones generales de operación?,¿cuándo se estableció el programa?, ¿a qué población y necesidades pensaban atender?, etcétera. Después con estos propósitos se observa el plan de estudios y el modelo educativo con el que opera el programa, qué actividades tiene para la formación integral. Y también el camino de ingreso al programa: cómo ingresan los alumnos, cómo transitan por el programa, cómo egresan, si tienen un programa de titulación, de servicio social, si hay certificaciones, y muy importante: cuáles son los resultados de los estudiantes. Luego el tipo de personal académico, la infraestructura académica del programa, los auditorios, pasillos, canchas, gimnasios, estacionamientos. Finalmente conectividad y biblioteca, los laboratorios si se requieren por el tipo de programa, entrevistamos a los estudiantes para saber si hacen uso de los equipos y si estos funcionan. 

Primero se solicita que el coordinador del programa envíe una autoevaluación respecto a lo que consideran sus fortalezas y problemas, de manera que hay información previa. Nosotros enviamos la guía de 68 indicadores y les pedimos que hablen con la verdad, si bien nos encargaremos de descubrirla. Eso es lo que hacemos, averiguamos. Nos hemos damos cuenta que cualquier programa podría caer en la categoría de ser bueno o malo, eso rompe un poco con el mito de que en una escuela normal rural o en una muy apartada no puedes sacar un nivel muy alto. Si declara qué es lo que quiere, qué tiene, los insumos y los instrumentos, y se ajusta al perfil de egreso, por tanto es un buen programa. Posteriormente preparamos la visita y después de llevarla a cabo reunimos al comité, existen nueve de ellos. Finalmente el comité dictamina si este programa es de buena calidad o no. 

Equipo LAISUM: De los 35,000 programas que existen, ¿cuántos han tenido al menos una evaluación?

Rafael Vidal: Hemos evaluado alrededor de 7,000 a lo largo de muchos años. Los CIEES son una asociación civil y nuestras autoridades son una asamblea de asociados en la que están la Academia Mexicana de Ciencias y la ANUIES entre otros. Ante ellos hemos expresado que debemos evaluar muchos programas más y no solo nosotros, hay otros 30 organismos evaluadores aparte de los CIEES, estos son los que tiene el COPAES. No lo hemos hecho porque no existen las condiciones para evaluar. Hay organismos de COPAES que evalúan dos programas al año, si evaluáramos esa cantidad anualmente no habríamos acabado hasta que seamos tatarabuelos. 

Equipo LAISUM: ¿Qué porcentaje logra buenos resultados en la primera evaluación? 

Rafael Vidal: Muchos, la mayoría son de buena calidad, no porque seamos “barcos”, se podría pensar que los que vienen y tocan a la puerta ya están preparados o que atrás de eso hay dinero o hay castigo La filosofía es mejorar las condiciones de un programa, dicho de otra manera, vamos a evaluar su programa y si encontramos que tienen muy buena condiciones para funcionar no por ello dejamos de hacer las recomendaciones, recocemos lo que está funcionando y les decimos de manera clara y precisa cómo hacerlo. También hay una serie de recomendaciones, al final están los resultados de la evaluación, pero lo importante es si aprendiste o no aprendiste, si lograste identificar dónde están tus logros y las cosas que tienes que mejorar. 

Objetivos y efectos de la evaluación de los CIEES

Rafael Vidal: Si a mí me dijeran, ¿cuál es la misión de los CIEES? Yo diría que ayudar a mejorar la educación superior en México. Nuestro papel no es dictaminar, sí lo hacemos pero nuestro papel es ayudar a mejorar, incluso a aquellos programas que salen muy bien evaluados les hacemos observaciones para que mejoren y en qué pueden mejorar. Por supuesto a los que están muy mal le hacemos muchas más observaciones respecto a qué cosas pueden mejorar, sin excepción, pero también a aquellos que se encuentran bien. 

Equipo LAISUM: Cuando refiere que sólo 7000 de los 35000 programas tienen condiciones para la evaluación, ¿a qué se refiere específicamente?

A que no hay los estímulos ni las condiciones legales para obligar a que las instituciones se evalúen, es un asunto de voluntad. En otros países, por ejemplo a los alumnos que quieren alguna beca que otorga el gobierno central, se les dice que sólo si estudian en un programa que esté reconocido, evaluado y calificado. Entonces las instituciones tienen mucho interés en ser evaluadas, hay países en donde evalúan prácticamente todos sus programas todo el tiempo, se hacen miles de evaluaciones al año. Nosotros este año vamos a hacer unas 400 evaluaciones; los organismos del COPAES hacen entre 150 y 200 evaluaciones al año, si sumamos todas no llegan a 1,000.

Los programas no se degradan en horas pero sí en años si uno no los atiende, tendríamos que estar haciendo el ciclo de reevaluación cada 5 años en cada programa. Lo ideal sería que dentro de 5 años le dijéramos a cada programa “dijiste que ibas a mejorar el proceso de ingreso, ¿ya lo hiciste?” En esos 5 años se observa el paso de una generación, puedes ver los resultados del cambio en el perfil de ingreso, el egreso, a esto se le denomina la “ganancia educativa” que ofrece el programa. Una de las partes que se analiza es la voz de los empleadores y de los egresados para ver cómo se están colocando en el mercado laboral, los problemas de la profesión y que los empleadores sepan cómo se están formando. Ese es un ciclo que se puede revisar cada 5 años.

En el mundo existe un gran énfasis en los resultados de los estudiantes, que en realidad es la finalidad central de los centros de educación superior: el formar personas. Debería de mirarse lo mismo en un centro de investigación, por ejemplo en El Colegio de México o en el CINVESTAV, que en una escuela normal rural o en un tecnológico. La función principal es educativa, formar a esos cuadros de acuerdo con una declaración. ¿Qué manera tendría la sociedad de saber si una escuela cumple sus objetivos? Existen los resultados en anuncios. Otro es el prestigio, las famas públicas, mismas que en realidad son un elemento muy subjetivo. Necesitamos elementos no basados en el prestigio o en las recomendaciones de una persona sino una serie de elementos objetivos. Los otros son los rankings, pero en ellos hay como 14 universidades y resulta que son 3,000 en el país. 

Por ejemplo, existen universidades en zonas alejadas como la Universidad Tecnológica de la Mixteca, donde hay chavos que rompen el mito de que los alumnos tienen bajo nivel porque vienen mal preparados de los niveles previos. Si van a un concurso salen igual que los mejores, tienen un nivel de exigencia desde el principio, una vez que entran tienen todo: actividades formativas, oratoria, talleres, les hacen leer a Juan Rulfo, y Cortázar, están estudiando ingeniería, pero tienen que leerlos. 

Contamos con una base que estamos nutriendo con los datos de todas las recomendaciones a los programas para hacérselas llegar a las autoridades educativas y publicarlas. Tenemos un sistema, son tres plataformas en la que los evaluadores emiten todas sus opiniones a través de las evaluaciones, son 42 rúbricas a responder a lo largo de los tres días; las instituciones emiten opiniones de los 68 indicadores. Y otra plataforma es de control interno. 

En un lapso relativamente corto vamos a tener una gran cantidad de información que agrupa nuestras recomendaciones recurrentes para hacérselas llegar a las autoridades. Nuestra esperanza es que en poco tiempo podamos estar haciendo muchas más evaluaciones y que los otros órganos evaluadores estén haciendo lo mismo. 

Los comités evaluadores 

Rafael Vidal: Los CIEES están conformados por nueve comités. Cada comité está formado por entre 10 y 11 personas que vienen de todo el país, esa es la sesión de la instalación, los que están acá (En el D.F.) son los miembros de la junta directiva de los comités. Este año asistieron alrededor de 90 personas que vienen de todo tipo de instituciones educativas, universidades públicas, estatales, las grandotas, las chiquitas, las normales, los institutos tecnológicos. Nuestros comités conforman todos los sabores de la educación superior, no le hacemos “el feo” a nadie. Todo mundo puede venir a tocar la puerta. 

Equipo LAISUM: Se han emitido diversas críticas al modelo de evaluación de los CIEES, ¿cuál es su opinión al respecto? Es que no nos conocen, pero es persistente, al CENEVAL también “le tiran”. Mucho tiene que ver con el asunto de cómo se define la calidad. La evaluación y sobre todo la acreditación también se han asociado a los procesos de financiamiento de las instituciones de educación superior y considero que eso pudiera pervertir el proceso de evaluación.

A la institución le urge evaluarse, lo que puede llevar a procesos de perversión y simulación, no sólo en México, en el extranjero hay instituciones y evaluadores patito. ¿Cómo se puede dar eso? Primero porque la institución evaluadora no es íntegra, es decir que los que dirigen el organismo evaluador estén dispuestos a corromperse. Por supuesto que nosotros no hacemos ninguna de esas cosas, tenemos un protocolo de actuación, no recibimos regalos, no aceptamos invitaciones a cenar, nada de esas cosas, no podemos. Sí se hacía pero desde que llegamos nosotros los protocolos de actuación son muy claros.

Es muy difícil alcanzar la calidad y conservarla, que no haya sesgo, que la gente trabaje profesionalmente, que los organismos evaluadores sean íntegros. Nosotros creemos que hay que legislar para garantizar la integridad de los organismos, que sus dirigencias se renueven, que no se cree un club en donde los mismos evalúen siempre, que tengan finanzas claras y una metodología pública. Se pervierte un organismo cuando hace 30 años que son los mismos que están evaluando las carreras. 

Transparencia y rendición de cuentas

Equipo LAISUM: En ocasiones se pensaría que hay simulación en el sentido de que las instituciones se preparan para recibir a los evaluadores, se aprende la misión de manera colectiva, se preparan a los estudiantes, entre otros aspectos. ¿Cómo aprecia esos comportamientos? 

Rafael Vidal: Es obvio que las instituciones tienen interés en salir bien en la foto. Lo que hay que hacer no es salir bien en la foto sino tener un buen programa. Si fueras al CINVESTAV o al Colegio de México ni modo que no te muestre sus investigaciones y publicaciones internacionales, a eso se dedican. Es un poco eso, mirar a los programas como si fueran personas, todas son diferentes aunque hay un patrón que nos permite tener pruebas estandarizadas. Por ejemplo en la Politécnica de Tlaxcala algunos de sus programas están destinados para la formación de gente para la industria automotriz, tienen más de 280 empresas conectadas y ellos forman una buena parte de los estudiantes para ingresar a esas 280 empresas, entonces tienen muy claro qué quieren, los estudiantes estudian alemán con la idea de ingresar a estas empresas, esa es la pertinencia del programa. 

Equipo LAISUM: A poco más de dos décadas de haberse creados los CIEES, ¿qué ha mejorado en la educación superior? 

Rafael Vidal: Se ha mejorado aunque probablemente la gente no lo quiere ver. En 1980 no había nada, mientras que en Estados Unidos, Canadá e Inglaterra esto ya se hacía. Si querías saber cómo estaban las instituciones de educación superior nadie te lo podía decir. Incluso los investigadores, no había datos. En 1989 se creó la CONAEVA y se les pidió a las universidades que se evaluaran y las universidades dijeron “ni de broma, no nos vamos a evaluar”. En 1989 finalmente aceptaron la autoevaluación, ahora son centenares de instituciones que se quieren evaluar, entonces sí han cambiado las cosas. 

En 1980 algunas universidades eran como la peor secundaria rural, Pero sí ha cambiado, en Baja California, San Luis Potosí, Colima, Yucatán, Aguascalientes, muchas universidades están razonablemente bien en términos generales y se preocupan mucho. También la demanda de la sociedad, es decir de los padres de familia, de las autoridades y de los alumnos es más clara. De cierta manera se generaron prácticas de transparencia y de rendición de cuentas. En todas las universidades hay un área específica para la evaluación donde están cuidando el control de la calidad. En las redes sociales es innegable el poder de la comunicación como factor de opinión que mueve muchas cosas, lo que se requiere es transparentar las cosas, se trata de definir lo que estamos evaluando. 

La evaluación siempre es una herramienta, si uno decide que “al final ya me dieron papelito y ya quedó” no sirve para nada, realmente es una herramienta indispensable, se requiere que esté bien hecha, bien aplicada y que brinde resultados. El cambio está en las instituciones y en las políticas educativas del gobierno pero la responsabilidad del cambio está en las instituciones, no en el instrumento. 

Tendencias mundiales de la evaluación de programas

Equipo LAISUM: ¿Qué tendencias de la evaluación pueden observarse alrededor del mundo y con qué organismos acreditadores tienen relación los CIEES?

Rafael Vidal: Pertenecemos a dos órganos internacionales, la Red Iberoamericana de Evaluación de la Calidad (RIACES) y el INQAAHEEl año pasado asistimos a la reunión del INQAAHE en Chicago, donde se discuten estos temas y se ven las tendencias de aseguramiento de la calidad de la educación superior. Hace poco tiempo hubo una evaluación de ABET para la evaluación de ingenierías, el órgano más importante y probablemente el más grande del mundo, fue fundado en los años treinta. 

Este organismo evaluó algunos programas en la Universidad de Aguascalientes y de San Luis Potosí. En términos generales observamos que hacen lo mismo que nosotros. Algunas instituciones eligen la evaluación internacional por ejemplo de ABET Los costos de la evaluación internacional pueden ser 10 veces más de los de una nacional; es el costo de tener el sello internacional.

En enero del 2017 iremos a Inglaterra con la QAA (Quality Assurance Agency for Higher Education) de Reino Unido, quienes hace lo mismo que nosotros. 

Países como Estados Unidos siempre están evaluando programas, los presionan las partes que financian, a las cuales llaman Stakeholders y a quienes se les rinden cuentas. Ahora hay mucha más movilidad, más comunicación vía internet, bibliotecas digitales. Esa formación que tienen los alumnos ha cambiado y hace que tengamos un lente especial. En nuestro país todavía es rudimentario o apenas se está iniciando este tipo de actividades por razones obvias. En Europa la movilidad es como ir a Aguascalientes, luego a Durango y a Tlaxcala, lo alumnos se mueven muy rápido pues hay un reconocimiento de créditos. 

Equipo LAISUM: En una visión de futuro ¿cómo se visualiza la política de evaluación en el país para la educación superior el papel de los CIEES?

Rafael Vidal: En México vamos a tener más evaluación, la necesitamos, y es necesario que esa evaluación sea más pública, se trata de dar más elementos a la sociedad, a los padres de familia y a los estudiantes. Yo esperaría que eso se popularice y que tengamos una base de datos en la que se elija un programa porque es una inversión, no de dinero sino de tiempo del estudiante y de las familias.