EL PROCESO DE AUTOEVALUACIÓN INSTITUCIONAL EN EDUCACIÓN A DISTANCIA. EL CASO DEL PROGRAMA DE EDUCACIÓN A DISTANCIA DE LA UNIVERSIDAD DEL SALVADOR (PAD/USAL)

Silvana Cataldo This e-mail address is being protected from spambots. You need JavaScript enabled to view it
Alejandra Lamberti This e-mail address is being protected from spambots. You need JavaScript enabled to view it

Universidad del Salvador_ Argentina

RESUMEN

En el presente trabajo se analiza la importancia del proceso de autoevaluación como un mecanismo que contribuye con el mejoramiento de la gestión y la concreción de los objetivos institucionales, así como con el desarrollo de una cultura de análisis, reflexión e interpretación contextualizada (evaluación) que incrementa los espacios de racionalidad a fin de poder alcanzar los objetivos institucionales con eficacia, efectividad, eficiencia y relevancia.
Se parte de la experiencia institucional del Programa de Educación a Distancia de la Universidad del Salvador (Buenos Aires), que realiza desde el año 1999 autoevaluaciones anuales con el fin de detectar debilidades y proponer las mejoras necesarias en relación con el objetivo del Programa de ofrecer propuestas educativas de calidad.
Para establecer los indicadores de calidad del Programa, se han seguido los criterios postulados por el Modelo Iberoamericano desarrollado por el “Centro Virtual para el Desarrollo de Estándares de Calidad en América Latina y el Caribe”. Las autoras describen de qué modo se realizó la adecuación de estos criterios conforme a la endoidentidad e idiosincrasia de la USAL, sus principios fundacionales y su tradición educativa personalista.

PALABRAS CLAVE

educación a distancia – estándares – calidad – autoevaluación - gestión

EL PROCESO DE AUTOEVALUACIÓN INSTITUCIONAL EN EDUCACIÓN A DISTANCIA. EL CASO DEL PROGRAMA DE EDUCACIÓN A DISTANCIA DE LA UNIVERSIDAD DEL SALVADOR (PAD/USAL)

1. La autoevaluación en el marco de la noción de calidad educativa

Desde su irrupción en el mundo formativo y educativo, la educación a distancia ha generado expectativas en las diferentes instancias que intervienen en los procesos de enseñanza-aprendizaje: pedagógicas, didácticas, sociales, culturales, económicas, políticas. Este hecho, unido al creciente interés de las instituciones por la calidad educativa, hace que la necesidad de desarrollar modelos de evaluación adecuados a cada espacio educativo institucional y a los distintos contextos de producción de sus objetos (cursos, talleres, materias, carreras) se transforme en un imperativo para que las instituciones puedan seguir creciendo y perfeccionando sus propuestas.
La inquietud por evaluar los programas de educación en línea ha dado lugar, en los últimos años, a la elaboración de diferentes modelos de evaluación, tendientes a establecer estándares que permitan certificar la calidad de las propuestas educativas. En este sentido, es recomendable tener en cuenta algunos de estos modelos dentro de las instituciones para delimitar y contextualizar un tema tan complejo. Podemos mencionar, por ejemplo, el EFQM y el Modelo Alfa, del ámbito europeo; el Malcolm Baldrige, del ámbito norteamericano, y el Modelo Iberoamericano, del que se desprende el elaborado por el “Centro Virtual para el Desarrollo de Estándares de Calidad en América Latina y el Caribe”, con sede en la Universidad Técnica Particular de Loja (Ecuador), creado para este y otros fines a instancias del Banco Interamericano de Desarrollo (BID), el Consorcio Red de Educación a Distancia (CREAD) y la Asociación Iberoamericana de Educación Superior a Distancia (AIESAD). El Programa de Educación a Distancia de la Universidad del Salvador (PAD), por razones de pertenencia a la región y de mayor identificación con los estándares propuestos, ha elegido este último modelo para pensar sus procesos de autoevaluación. Cabe aclarar que, si bien se han tomado estos criterios como guía, los subcriterios, objetivos y estándares de calidad han sido adaptados de acuerdo con la endoidentidad e idiosincrasia de la USAL, sus principios fundacionales y su tradición educativa personalista.
Antes de adentrarnos en el proceso de autoevaluación del Programa, nos resulta importante aproximarnos a una posible definición de calidad. El Diccionario de la RAE (1996) define la calidad como “la propiedad o conjunto de propiedades inherentes a algo que permiten juzgar su valor”. Este concepto es, pues, muy complejo y su definición no puede pensarse separada de las cosas que la poseen. Sin embargo, hay algunos factores que, según García Aretio (2007), es posible tener en cuenta a la hora de pensar la calidad de las propuestas educativas:

• contexto sobre el que se aplique;
• criterio del profesional que programa o controla esa calidad;
• objetivos que pretenden lograrse;
• situación de quien opina sobre la calidad del producto.

Así, pues, en función de estos lineamientos, el PAD comenzó hace más de 10 años sus procesos de autoevaluación. Desde la gestión del Programa, se ha podido comprobar que estos procesos favorecen la implementación de políticas de cambio y promueven el desarrollo de las personas, al tiempo que benefician a los destinatarios de los procesos educativos, pues permiten, por medio de la observación y análisis de las diferentes instancias, proponer cambios, fortalecer los resultados globales a través de la innovación y la mejora continua.

2. Proceso de Autoevaluación

Desde el año 1999, el PAD realiza anualmente autoevaluaciones globales, que parten del análisis de cada uno de los cursos, talleres y materias de posgrado que se ofrecen desde el Programa.
2.1. Modelo organizacional del PAD/USAL y elección de la tecnología
Para poder entender más cabalmente el proceso de autoevaluación, resulta pertinente tener en cuenta tanto algunos aspectos de la estructura institucional del Programa de Educación a Distancia como las bases teóricas que sustentan la elección de la tecnología.
El PAD/USAL responde a un modelo organizacional bimodal dado que forma parte de una institución (Universidad del Salvador) que tiene una tradición presencial que data de 1956. Sin embargo, no se ajusta a la descripción de los ejemplos denominados “puros” ya que no se ofrecen en el Programa los mismos cursos que se dan en la modalidad presencial y los alumnos tampoco son los mismos. Además, el PAD no tiene los mismos sistemas de evaluación que son exigidos en la modalidad presencial. La evaluación de los alumnos a distancia está a cargo del tutor, quien durante toda la cursada, corrige sus tareas, responde sus dudas, considera la evolución de los estudiantes, tiene en cuenta sus intervenciones en los foros o en otras actividades propuestas y evalúa el trabajo integrador final.
El PAD realiza reuniones de docentes y tutores e intenta mejorar los mecanismos de comunicación con los alumnos para detectar y resolver las dificultades que se van presentando en cada curso (elaboración de contenidos, inconvenientes con las consignas, actualización bibliográfica, etc.).
Las estructuras organizacionales, entonces, son complejas y variadas; no son estáticas sino que evolucionan a medida que las estrategias de intervención y las tareas dentro del Programa cambian.

Por otro lado, el modelo de administración del Campus es compartido, es decir, los servicios inherentes a la modalidad a distancia se organizan en el PAD, que asume gran parte de las decisiones logísticas, los recursos económicos y su distribución, y se encarga de establecer relaciones directas con las unidades académicas involucradas en las distintas disciplinas con las que se relacionan los cursos impartidos, dependientes del Programa. Pero, a su vez, el Campus se constituye en un espacio para que otros departamentos académicos o administrativos de la USAL puedan desarrollar sus proyectos en la modalidad a distancia.

Considerando los aportes de la Dra. Beatriz Fainholc en el tema de la elección de la tecnología, se han tomado en cuenta los conceptos de Tecnología Educativa Propia, Apropiada y Crítica: la Universidad del Salvador posee un Campus propio (plataforma Moodle), desarrollado por el Departamento de Sistemas conjuntamente con el equipo pedagógico del Programa de Educación a Distancia.

Para establecer las orientaciones del trabajo de este equipo interdisciplinario, se consideró muy especialmente el concepto de Tecnología Apropiada, o sea, al decir de Beatriz Fainholc, adecuar la tecnología a los contextos, situaciones y usuarios, para realizar un trabajo holista, situado e interdisciplinario, que considere los perfiles de escenarios y actores con necesidades particulares, lo que captura el real contexto para su apropiación. En este sentido, tomando en cuenta el perfil de los estudiantes del PAD, se consideró el diseño de un Campus de entorno “amigable” y de recorridos sencillos para que pueda ser comprensible para todos, más allá de su expertez en el uso de las nuevas tecnologías. Fundamentalmente, se tuvieron en cuenta tres funciones básicas que todo Campus virtual debe brindar: almacenamiento de información, medio de comunicación y apoyo para la gestión administrativa del Programa.
Finalmente, se consideró el concepto de Tecnología Crítica, o sea, de una tecnología especial que se ocupa de las mediaciones pedagógicas desde una perspectiva sociocultural histórica y crítica llevada a cabo en los procesos de diseño, ejecución y evaluación/investigación de programas y materiales educativos para los nuevos entornos virtuales de aprendizaje. Esto supone transitar de una concepción de la tecnología educativa convencional a una conceptualización de una tecnología educativa concebida desde la cultura y las mediaciones, como una práctica socio-tecnológica educativa reflexiva de intervención cultural, directamente derivada de las características específicas del aprendizaje y la enseñanza, contextuados en escenarios culturales y con actores particulares.

2.2. Criterios de evaluación del PAD

a) El enfoque global

La evaluación institucional de un Programa, como lo es el PAD, es un proceso complejo que demanda una serie de acciones que van desde la selección y uso de recursos (personas, herramientas, métodos, tiempo) hasta la planificación, control y gestión de todos los actores involucrados, para tratar de asegurar la eficiencia y la efectividad del proceso de evaluación.
Uno de los primeros aspectos a tener en cuenta es que el Programa realiza una evaluación de enfoque global e integral (Rubio: 2007) que tiene presente el conjunto total de elementos que intervienen en una propuesta de educación en línea, mediante el establecimiento de los criterios para gestionar o evaluar la calidad de sus propuestas. En el caso del PAD, estas autoevaluaciones se realizan anualmente, hecho que permite tener una visión completa de las diferentes instancias del desarrollo de los cursos, al tiempo que favorece la elaboración y propuesta de mejoras de los distintos aspectos evaluados.
Sustentada en el planteamiento de un enfoque sistémico y basada en el concepto de mejora continua, la evaluación de enfoque global implica una estrategia organizativa de las instituciones, así como una metodología de gestión que hace participar a todos los miembros de la organización con el objeto fundamental de mejorar continuamente su eficacia y funcionalidad.

b) Equipo evaluador

El proceso de evaluación demanda la participación de un equipo evaluador, integrado por varios miembros, cada uno de los cuales tiene roles o responsabilidades específicas. En el PAD, este grupo está integrado por coordinadores, quienes definen los requisitos del diseño del instrumento de evaluación, recopilan la información, realizan una ponderación de la misma; evaluadores, que son el grupo de personas integrado por usuarios, estudiantes, docentes, diseñadores, que utilizarán el instrumento de evaluación para calificar el producto educativo; y un líder, que es el responsable de la planificación, organización, dirección y supervisión del proceso completo (desarrollo, puesta en práctica, cumplimiento de tiempos y de objetivos).
Al término del proceso, el líder -en forma conjunta con los coordinadores- vuelca los datos y elabora un informe que anualmente se publica en la página del Programa (http://www.salvador.edu.ar/vrid/ead/ead.htm).
Es interesante destacar que todos los miembros del PAD conocen que el equipo evaluador realiza anualmente estas autoevaluaciones con la finalidad de relevar y considerar los aspectos que puedan provocar inconvenientes. Esto favorece y propicia la propuesta de mejoras, lo que hace que todos los involucrados colaboren activamente con las distintas instancias del proceso de evaluación que así lo requieran.
c) Instrumentos de evaluación
El equipo de evaluación, con la finalidad de recoger información para concretar el proceso de autoevaluación, diseña los instrumentos que considera necesarios y apropiados para la fase de recopilación de datos.
Para llevar a cabo las autoevaluaciones se emplean diferentes instrumentos:

• encuestas, elaboradas para ser completadas por los directivos del Programa, los docentes, los estudiantes, la Bibliotecaria y la Secretaria del PAD;
• entrevistas, realizadas para recabar información proveniente de los diferentes participantes del Programa;
• guías de observación, pensadas con la finalidad de analizar el funcionamiento del Campus. Cabe aclarar en este sentido que la plataforma que se usa en el Programa (Moodle) permite llevar a cabo un seguimiento pormenorizado de muchas funciones (participación de los alumnos, respuesta de los docentes, intercambios, frecuencias)

d) Modelo de evaluación

Tal como señalamos al comienzo de este trabajo, el modelo de evaluación tomado como base de nuestra autoevaluación es el del “Centro Virtual para el Desarrollo de Estándares de Calidad en América Latina y el Caribe”, adaptado a nuestra institución y a sus requerimientos.
El modelo basado en el desarrollo de estándares de calidad comprende distintos elementos que forman parte de una estructura jerárquica, a saber: criterios y subcriterios, objetivos, estándares e indicadores de calidad. Para una mejor comprensión, consideramos necesario definir cada uno de los términos utilizados:

• Selección de criterios y subcriterios. Los criterios son los aspectos generales sobre los cuales se determina el buen funcionamiento de una organización.
• Definición de objetivos. Estos están relacionados con la mejora de la calidad, el servicio a los destinatarios, la reducción de costos, el incremento de la flexibilidad del sistema, el cumplimiento de plazos establecidos, etc.
• Determinación de estándares. Son el grado definido como necesario e indispensable para que un objetivo se considere realizable.
• Elaboración de indicadores. Estos son el elemento distintivo que permite identificar de forma objetiva el cumplimiento de los estándares. En realidad, no son una parte integrante de un modelo, sino que surgen con la autoevaluación o evaluación externa de cada programa.

La calidad, teniendo en cuenta estas perspectivas, se puede establecer a través de indicadores que proporcionen información relevante acerca de distintos aspectos significativos de calidad.
Ahora bien, es sabido que resulta “bastante difícil referirse a la calidad de los programas de Educación a Distancia que se brindan porque muchos de ellos aún están a prueba y en expansión, lo que remite a una reflexión más profunda: la necesidad de discernir qué es en realidad la calidad, cuáles son sus rasgos. Para nosotros, es un atributo añadido, no integrado a un programa de Educación a distancia: cuando está, se nota; cuando no está, también" (Fainholc: 2004).
Como se puede apreciar, el concepto de calidad es complejo y presenta manifestaciones diferentes que pueden ser entendidas como complementarias. Según Ramón Pérez Juste (1998), las más importantes son:
• La excelencia en las notas o características del objeto o servicio.
• El logro efectivo del objeto o servicio.
• La percepción del objeto o servicio como algo más o menos satisfactorio.
• El logro de la excelencia, por medio de procesos eficientes que conducen a resultados eficaces.
• Un concepto profundo de calidad, entendida como algo global y unificador a lo que debe tender todo emprendimiento.
Consideramos que desde la óptica de la educación, la calidad debe ser entendida como la dedicación de un sistema educativo para optimizar sus propuestas a fin de obtener la satisfacción del alumno y de los propios integrantes del sistema. Por lo tanto, podemos señalar que el esfuerzo de individuos y grupos por hacer bien lo que hacen tiene como objetivo satisfacer sus necesidades y las de sus semejantes.
La calidad va estrechamente ligada a la relación entre las personas, en donde recíprocamente alguien da y alguien recibe. La aptitud de una persona para "satisfacer las necesidades de otros" dependerá de su capacidad para percibir esas necesidades, de su conocimiento de cómo satisfacerlas, de informar a otros de lo que se necesita y de su capacidad para convivir con sus semejantes y su entorno. De todo esto podemos deducir que la calidad, en todos los ámbitos del quehacer humano, y por ende en la educación "es el resultado organizado de personas capacitadas y comprometidas, es decir, de personas con los conocimientos, las destrezas, los valores y las actitudes necesarias para hacer bien lo que hacen" (Moya Segura: 1998). Si se pretende una educación de calidad y calidad en la educación, no debe olvidarse que el objetivo primordial de la educación es la formación integral del ser humano para el mejoramiento de su propia calidad de vida y de la sociedad a la que pertenece.

2.3. Indicadores de Calidad del PAD/USAL

Como se ha dicho, los criterios que se han seguido para establecer los indicadores de calidad del Programa son los que postula el Modelo Iberoamericano (http://www.utpl.edu.ec/caled/).
En cuanto a los indicadores, a modo de ejemplo, tomamos esta selección que se ha aplicado para el proceso de autoevaluación del período 2007-2008.

a) Respecto del criterio “LIDERAZGO Y ESTILO DE GESTIÓN”, se privilegiaron los siguientes aspectos:
En primer lugar, el desarrollo de la endoidentidad, es decir, un fuerte grado de pertenencia institucional e identificación con los principios fundacionales de la Universidad del Salvador. Esto implica unificar criterios en todos y cada uno de los casos, tanto para los directivos como para los coordinadores de tutores y para los tutores mismos. Se busca llevar adelante una gestión eficiente de la comunicación para que todo el equipo pueda intercambiar experiencias, plantear las dificultades que se presentan en lo cotidiano.
En segundo término, se busca ofrecer propuestas educativas en la modalidad a distancia con orientaciones personalizadas y personalistas.
Asimismo, se persigue la descentralización de la gestión y la pluralidad de roles, de modo tal que quien coordina a los tutores, también se desempeña como tutor, por ejemplo, lo que permite conocer mejor la realidad de esa tarea y comprender la problemática en torno a la labor del docente.
Con el objetivo de mejorar las propuestas, desde la gestión, se ha fomentado la participación de docentes de Universidades del Extranjero (Universidad Nacional de Oviedo y Universidad de Salamanca, España; UNAM, México; Université Paris II, Francia; Universidad Nacional de San Marcos, Perú) en calidad de Profesores Invitados.

b) En cuanto al segundo criterio, “POLÍTICA Y ESTRATEGIA”, se pretende generar una oferta educativa acorde a las demandas de capacitación a distancia de la sociedad, sobre todo teniendo en cuenta las necesidades regionales y la tradición educativa de la USAL. Para hacerlo, se ha hecho especial hincapié en mejorar la calidad profesional de los recursos humanos a través del perfeccionamiento académico de los integrantes del PAD (realización de cursos y/o carreras de posgrado).
Respecto de los usuarios se busca la construcción adecuada de la viabilidad de la oferta educativa en relación con el escenario, las restricciones en el tiempo, los recursos y las capacidades organizativas e institucionales.
Para observar el adecuado desarrollo de cada área dentro del Programa así como el cumplimiento de los objetivos, se realiza una autoevaluación anual. El objetivo de la autoevaluación es precisamente, a partir de los resultados, proponer mejoras para aquellos aspectos que las requieran, acentuar aquellos aspectos que se detectan como fortalezas y aprovechar las oportunidades coyunturales con las que se cuenta.

c) Con respecto al tercer criterio, “DESARROLLO DE LAS PERSONAS”, se persigue el crecimiento permanente de cada uno de los integrantes del Programa (tanto docentes y administrativos como los usuarios). Esto puede apreciarse en la capacitación permanente de los docentes tanto en el área de su competencia como en lo atinente a la modalidad a distancia. En este sentido, el Programa ofrece anualmente un curso interno de capacitación (cuya temática surge de las necesidades que se advierten a partir de las autoevaluaciones) para todos sus integrantes. Cada curso es gratuito y la inscripción no es obligatoria, aunque se insiste en la importancia de que todos (directivos, docentes, personal administrativo) participen porque los temas que se trabajan sirven para el mejor funcionamiento de distintos aspectos del Programa.
De esta manera, se busca que los docentes participen de un ámbito de trabajo en el que puedan desarrollarse tanto en lo profesional como en lo personal y de este modo alcancen mayor satisfacción por la realización tarea. En este sentido, además de la capacitación, consideramos de suma importancia que los docentes trabajen de manera colaborativa: intercambiando experiencias, haciendo sus aportes y sugerencias, proponiendo temas e investigaciones relacionados con la modalidad a distancia, de acuerdo con sus intereses personales.

d) Con referencia al cuarto criterio, “RECURSOS Y ALIANZAS”, se ha privilegiado el desarrollo de tecnología propia y apropiada con servicios accesibles y acceso sencillo y universal a todos los contenidos, servicios y herramientas, sobre todo a partir de la incorporación del Campus virtual (2005).
Para los miembros del PAD es importante no dejarse deslumbrar por las tecnologías y poder aprovechar al máximo los recursos disponibles, tendiendo a lograr la equidad en el acceso a la capacitación.

e) Al quinto criterio, “DESTINATARIOS Y PROCESOS EDUCATIVOS”, corresponden los siguientes indicadores:
En primer lugar, se persigue un bajo nivel de deserción en los cursos, hecho que se relaciona con el seguimiento personalizado de cada estudiante, tanto por parte del docente a cargo como del área administrativa, a través de la utilización de diferentes recursos -sincrónicos y asincrónicos- para la comunicación con los estudiantes y para su evaluación. De todos modos, cabe aclarar que el PAD mantiene la utilización de los medios de comunicación tradicionales (correo postal, teléfono, fax, entrevistas) para quienes no tengan acceso directo a las NTIC.

f) Con referencia al último criterio, “RESULTADOS GLOBALES”, los indicadores atienden al desarrollo de una buena gestión de la complejidad; al logro de una óptima comunicación entre todos los integrantes del Programa; a acrecentar la matrícula y reducir las tasas de deserción; a mejorar en forma permanente la calidad de la oferta educativa; a promover la continua capacitación de los miembros del PAD.

4. Conclusiones

Un punto de partida para mejorar el desarrollo de la gestión y favorecer el cumplimiento de los objetivos y misiones institucionales es conocer en profundidad qué sucede, cómo se desarrollan las cosas, no desde una perspectiva superficial sino de una más profunda que se introduzca en las redes y tramas institucionales. En este sentido, la autoevaluación es un proceso que, a través de estrategias de autoanálisis y autorreflexión, permite el estudio de los contextos internos y externos, la investigación del propio proyecto institucional, y las interpretaciones del clima, de las tramas de la organización y de las estrategias puestas en marcha para lograr cumplir con la misión fijada.
Evaluar el funcionamiento de todas las áreas del Programa contribuye al mejoramiento de la gestión y a la concreción de los objetivos institucionales, así como al desarrollo de una cultura de análisis, reflexión e interpretación contextualizada (evaluación) que incrementa los espacios de racionalidad a fin de poder alcanzar los objetivos institucionales con eficacia, efectividad, eficiencia y relevancia.

BIBLIOGRAFÍA

BARRIOS, Judith; MONTILVA, Jonás; SANDIA, Beatriz (2005). "Cómo evaluar cursos en línea". Educere: Revista Venezolana de Educación, ISSN 1316-4910 begin_of_the_skype_highlighting 1316-4910 end_of_the_skype_highlighting, Nº. 31, pags. 523-530 http://dialnet.unirioja.es/servlet/articulo?codigo=1983775 Consultado en agosto de 2008.
FAINHOLC, Beatriz (2004). La calidad en la Educación a Distancia continúa siendo un tema muy complejo. Buenos Aires: Educar.
GARCÍA ARETIO, Lorenzo (2007). De la educación a distancia a la educación virtual. Barcelona: Ariel
MCANALLY, Salas Lewis y PÉREZ Fragoso, Carmen (2000). "Diseño y evaluación de un curso en línea para estudiantes de licenciatura.". Revista Electrónica de Investigación Educativa Vol. 2, No. 1, 2000 http://redie.ens.uabc.mx/vol2no1/contenido-mcanally.html Consultado en septiembre de 2008.
MOYA SEGURA, José Alberto (1998). "Calidad y educación: conceptos y relación", en Innovaciones Educativas Nro. 9. San José de Costa Rica: UNED.
PÉREZ JUSTE, Ramón (1998). "La calidad de la educación universitaria. Peculiaridades del modelo a distancia". Ried, Madrid, UNED, Vol. 1, N° 1.
RUBIO, Maria José (2003). Enfoques y modelos de evaluación del e-learning. Revista Electrónica de Investigación y Evaluación Educativa, v. 9, n. 2. http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm Consultado en septiembre de 2008.