PLANIFICACIÓN DE LA EVALUACIÓN A DISTANCIA EN MÉXICO

PLANIFICACIÓN DE LA EVALUACIÓN

Cuando se realiza el proceso de planeación del diseño instruccional de un programa educativo a distancia, se llevan a cabo una serie de procedimientos, que permiten organizar un conjunto de actividades y tareas articuladas entre sí, con el propósito de dar respuesta a ciertas necesidades de formación en diversas áreas y niveles. La forma de valorar el impacto obtenido se realiza a través de la evaluación.

En este trabajo se presentan algunas consideraciones para incorporar la evaluación de programas dentro del proceso de diseño instruccional de un programa educativo a distancia  y no de manera aislada o complementaria.1]                     

Para iniciar este tema cabría hacer la pregunta: ¿Cuál es el propósito de evaluar un programa educativo?

Entendemos en términos generales que un programa educativo es la unidad que expresa, coherentemente, la vinculación entre objetivos y metas determinados, por una parte y las actividades conducentes al logro de aquellos, por la otra; además de la correspondiente relación tentativa de los recursos y medios necesarios y disponibles para tal fin. (Vázquez, 2003).

Por lo que en un programa educativo al ser diseñado a distancia se establece, el proceso enseñanza-aprendizaje en el que se exponen los contenidos, las estrategias educativas, los criterios de evaluación del aprendizaje, la bibliografía y material didáctico, la forma de comunicación en que se relacionarán alumnos y docentes, el tipo de relación con la misma institución, entre otros aspectos, lo que es en principio una declaración previa de lo que se piensa hacer en un curso o evento académico. Por otra parte, al llevarse a cabo el programa, se producen cambios específicos en la conducta de los individuos que interactuaron bajo las condiciones diseñadas para ello.

En este proceso, entre lo que se plantea y los resultados obtenidos, se deben de recolectar datos, de tal forma, que al final del curso se pueda contar con información suficiente, que permita valorar el logro de los objetivos y de esta manera elevar la calidad de la formación. Como señala Jímenez(1999), la evaluación de un programa educativo es “ el conjunto de actividades que se realizan para detectar y valorar la utilidad del programa en el contexto donde se proyecta y tomar decisiones, si son necesarias para optimizar el programa, sea en aspectos específicos”[2]. Al contar con información que permita ubicar las discrepancias entre estos dos puntos, el propósito de la evaluación sería la toma de decisiones, que se orientan para terminar, continuar, reelaborar, reforzar o complementar un programa, de tal forma que se  mejore la calidad del mismo.

Por otra parte, dependiendo del modelo de diseño instruccional[3], es como se define a la calidad, la cual debe considerarse como la base de un sistema permanente y diversificado de evaluación, que permite la toma de decisiones, de planificación estratégica en los procesos internos y externos para garantizar la excelencia académica, la pertinencia con el entorno, la idoneidad con la estructura institucional en que se enmarcan los programas, la eficacia y la eficiencia en el uso de los recursos, la satisfacción de las demandas de formación de la sociedad y de los graduados para insertarse en el sistema social.

Méndez(2002), señala que la calidad no es un lujo”patrimonio exclusivo de una elite privilegiada para ser considerada como una necesidad social”. La metodología a distancia y la condición de universidad pública[4] son elementos estructurales que deben  ser complementados a la luz de la actividad universitaria, de su visión humanista y universal desde donde se abordan las diversas disciplinas que se imparten.

Por lo que también en el diseño, se establecen criterios de calidad, que constituyen un punto de vista valorativo y sirven como base al juicio de calidad de la institución o al programa objeto de análisis, menciona ”Los criterios de calidad “son constructos que orientan conceptual y metodológicamente el proceso de autoevaluación. Constituyen un punto de vista valorativo y sirven como base al juicio sobre la calidad de la institución o al programa objeto de análisis[5]”. Son un equilibrio entre lo cuantitativo y lo cualitativo, ya que los criterios consideran tanto datos objetivos o medibles, como la información basada en las percepciones de los participantes en el proceso de evaluación.

A continuación se presentan algunos criterios que se podrían considerar para definir el proceso de evaluación de un programa (Méndez, 2003).

http://www.redesdelconocimiento.com/foro/index.php?option=com_content&view=article&catid=46%3Apedagogia&id=179%3Aalgunas-notas-sobre-la-evaluacion-de-programas-educativos-a-distancia&Itemid=118&lang=es

Coherencia. La congruencia o concordancia entre el todo y las partes, entre las estructuras y los procesos, entre los propósitos y los medios. Eficacia. Grado de cumplimiento de la planificación de la carrera (políticas, propósitos, metas y objetivos) en términos de logros obtenidos.

Eficiencia. Capacidad de adecuar y utilizar óptimamente los recursos disponibles humanos, materiales y financieros y de gestión disponibles, así como los medios pedagógicos y de administración curricular en función de los propósitos u objetivos del programa.

Equidad. Justicia en el quehacer de la carrera, respecto a lo interno de la institución y en su relación con los referentes universales. En el contexto institucional, se refiere a la normativa y políticas equitativas relacionadas con el sistema de admisión, la evaluación, la promoción y el reconocimiento de méritos académicos. En el contexto universal considera la no-descriminación, el reconocimiento de las diferencias y la aceptación de las diversas culturas.

Idoneidad. Cumplimiento de la misión y propósitos institucionales en el nivel de la actividad específica de programas. Se evalúa la permeabilidad de la misión y propósitos institucionales en el personal académico, las estrategias pedagógicas y la asignación de recursos en los programas.

Impacto. Grado de influencia interna y externa que posee el programa. A nivel interno, se considera el cambio experimentado por los estudiantes debido al programa académico, y los cambios en el quehacer del programa debido a la influencia de sus estudiantes y graduados. A nivel externo, se traduce en los aportes y transformaciones que promueve la carrera en su comunidad, región y país.

Integridad. Respeto por la ética y los valores universales, específicamente, la probidad, la honestidad y la rectitud.

Pertinencia. Correspondencia entre los fines de la carrera y los requerimientos de la sociedad. Requiere respuestas críticas a las necesidades sociales, económicas, políticas y culturales; y propuestas de acción derivadas de éstas, acordes con los valores institucionales. Requiere satisfacción de la comunidad respecto de los graduados y los objetivos del programa académico.

Responsabilidad. Capacidad para reconocer las consecuencias derivadas de las acciones en la ejecución del programa y corregirlas cuando éstas sean negativas.

Transparencia. Claridad explícita del quehacer del programa académico ante la comunidad universitaria y el país.

Universalidad. Incorporación de las diversas corrientes del pensamiento desarrolladas en torno a las áreas de conocimiento de la carrera. Además, hace referencia a la multiplicidad y extensión de los ámbitos en que se ejecuta el programa, así como el ámbito geográfico y social en que ejerce su influencia.

El primer paso en el diseño de la evaluación de un programa, es  identificar los criterios que corresponde con el propósito que se busca al evaluar el programa, lo que permite tomar decisiones para elevar la calidad del mismo, siempre considerando el contexto específico en el que se encuentra ubicado, ya que también se puede caer en el error de querer aplicar procesos que dieron buenos resultados en una determinada institución, los cuales se relacionan con sus características particulares, pero que no se corresponden con las de la institución en la cual se está realizando el diseño. [6]

Tipos de evaluación de programas educativos.

Por otra parte, como en todo campo de estudio, podemos encontrar diversidad de concepciones y tendencias teóricas, que orientan la aplicación y desarrollo de la metodología de evaluación. Veamos cinco concepciones de cómo ha sido entendida la evaluación de programas:

1. Medición. Su orientación es de tipo cuantitativo  y se basa en las cifras, que dan cuenta de cuanto se alcanzo.
2. Determinación de necesidades. Se orienta básicamente a valorar si se alcanzaron los objetivos, y a señalar áreas específicas de mejora.
3. Análisis de responsabilidades. Se valora si las personas responsables tuvieron un buen desempeño en el logro de los objetivos. Se realiza análisis de funciones.
4. Evaluación. Se valora si se alcanzaron las metas evaluadas en términos de criterios y estándares establecidos previamente, de acuerdo a las metas y objetivos ideales. Realizando una comparación  entro la ubicación del momento y hacia donde se pretende llegar.
5. Investigación. Se realizan preguntas de indagación, como por ejemplo ¿Cuál es la relación de las variables estudiadas?, se aplica el método hipotético-deductivo, método interpretativo-inductivo o la combinación de los anteriores.

Como se puede observar en todas ellas esta presente la indagación o búsqueda de datos sobre el comportamiento de un suceso. El tipo de evaluación a desarrollar se define a partir de la  finalidad que se le asigne, lo que permite establecer desde su inicio  cuales van  a ser sus objetivos, como se puede ver en el siguiente cuadro 1.

Tipo de evaluación                                  Toma de decisión       Contexto                                                   Planeación       Insumos                                                Estructuración       Procesos                                               Operalización        Productos

La definición de los objetivos también determina el proceso de evaluación a seguir, como quienes intervienen en la obtención de información.

El proceso de evaluación

Miguel (2005) señala que el proceso de evaluación de un programa implica seis aspectos centrales: a) la demarcación del objeto a evaluar; b) el uso de un conjunto de criterios para ejecutar el proceso; c) la sistematización a través de las técnicas apropiadas para la obtención de información útil; d) la descripción del objeto a evaluar; e) la emisión de juicios de valor; f) la toma de decisiones, la cual llevará a una retroalimentación”.

Los cuales deben ser considerado al elaborar y seleccionar la metodología a seguir. En su integración, se deben de definir los objetivos, los que en  términos generales podrían buscar:

1. Determinar el logro de los objetivos del programa.
2. Apreciar su impacto social.
3. Establecer la utilidad y pertinencia de lo aprendido.
4. Ubicar el grado de satisfacción de los usuarios.
5. Valorar la calidad de los diferentes recursos (financieros, materiales y humanos).

Una vez definidos los criterios de calidad, así como lo que se quiere evaluar, se procede a la elaboración de los objetivos, los cuales tienen que considerar el qué y para qué evaluar, ya que eso determina la conducta esperada resultado de la intervención en el programa, las condiciones de operación  y su nivel de eficacia y eficiencia. Al elaborar un objetivo se establece el proceso general para instrumentar la evaluación ya que permite:

     Determinar las situaciones de evaluación

Definir los criterios para evaluar  cada situación

Precisar los estandares para cada situación específica (institución o unidad didáctica)

   Determinar los instrumentos con base en los cuales se va a recabar la información que se requiere

 Definir cuáles van a ser las fuentes de información

 Precisar la manera de análisis de los datos

Al elaborar los objetivos, se define el rumbo que tendrá la evaluación, lo que permite que sea vista como parte del todo y no como un elemento incomodo o un requisito que hay que cumplir. Por otra parte, también se han de identificar los diversos componentes que intervienen el programa educativo, los cuales podrían ser:

• Proceso de Enseñanza Aprendizaje
• Gestión Académica
• Egresados y graduados
• Desarrollo
• Personal Académico
• Estudiantes

Una vez que se tenga claro los objetivos y componentes a evaluar, se podría elaborar un plan de acción. Un buen ejercicio es elaborando preguntas como las siguientes:

Enfoque ¿Qué voy a evaluar? ¿Qué decisiones se van a tomar? ¿Qué modelo es el adecuado? ¿Con base en qué criterios y estándares?	Recolección de datos ¿Qué instrumentos se requieren? ¿Qué o quién va a proporcionar la información? ¿A qué muestra se aplicarán los instrumentos?	Organización ¿Cuáles son los objetivos? ¿Cómo va a ser sistematizada la información? ¿Con base en que organización?
Análisis ¿Qué procedimiento se utilizará? ¿Cómo va a realizarse el análisis?	Reporte ¿A quién se va a reportar? ¿Cómo se va a reportar? ¿Cuándo se tiene que reportar?	Administración Definición de los tiempos para la evaluación de programas (cronograma) Determinar los recursos Precisar costos La meta-evaluación

Cuadro 2. Proceso de evaluación

Al establecer el plan de acción que permita obtener información, se debe buscar que los datos posean las siguientes características:

Claridad. Comprensible a quién esta destinada.

Oportunidad. Que este disponible en el momento en que se necesita

    Exactitud. Cuando diferentes observadores perciben la realidad de igual manera.

Validez. Cuando los contenidos de la evaluación corresponden con la realidad

Amplitud. Cuando proporciona posibilidades para la adaptación de diversas alternativas.

Reunir las características anteriores, permite que la evaluación contribuya a mejorar la calidad de la educación. Como se puede apreciar el proceso de evaluación tiene ciertos procedimientos que de no ser considerados dentro de la misma planeación y elaboración de un programa educativo, podrían ocasionar que la información obtenida de manera aislada y segmentada no fuera valida y confiable.

La evaluación de programas y sus diversos actores

Hasta aquí, se ha visto la importancia de incluir criterios de calidad en el proceso de diseño de cursos a distancia, en especial al permitir obtener información para la toma de decisiones. Los resultados sean buenos o malos, deben ser conocido y aceptados por los responsables de la planeación y diseño de los cursos en línea, ya que la evaluación de los cursos no se realiza por una sola persona, intervienen diversidad de actores como: El evaluador (interno y/o externo, equipo mixto); Los involucrados en la toma de decisiones; Los participantes; y las fuentes de información.