Revista Cubana de TecnologĂ­a de la Salud, Vol. 5, No. 4 (2014)

Documento sin título

Revista Cubana de Tecnología de la Salud 2014; 5(4)
ISSN: 2218-6719 RNPS 2252


ARTÍCULO ORIGINAL

INFLUENCIA DE LA CONFECCIÓN DE LOS INSTRUMENTOS TEÓRICOS DE EVALUACIÓN EN LA CALIDAD DE LOS RESULTADOS DE LOS EXÁMENES ESTATALES EN LAS CARRERAS DE TECNOLOGÍA DE LA SALUD DE LOS CURSOS 2009-2010 Y 2010-2011

INFLUENCE OF THE PREPARATION OF THE THEORETICAL EVALUATION DEVICES ON THE QUALITY OF THE RESULTS FROM THE FINAL DEGREE EXAMINATION IN THE TECHNOLOGY OF HEALTH MAJORS OF THE COURSES 2009-2010 AND 2010-2011

 

Alicia Alonso de Quesada*, Mavel Ramos Lorenzo**, María Isabel Quintana***.

*Licenciada en psicopedagogía. Profesora auxiliar. FATESA. Correo electrónico: alialonque@infomed.sld.cu
**Doctora en Estomatología. Especialista de Primer grado en Prótesis Estomatológica. Profesora asistente. FATESA. Correo electrónico: mramos@infomed.sld.cu
***Licenciada en Historia y marxismo. Profesora auxiliar. FATESA. Correo electrónico: mmquintana@infomed.sld.cu

RESUMEN

La aplicación de los exámenes estatales teóricos en la Facultad de Tecnología de la Salud ha estado en constante perfeccionamiento. Sin embargo, los resultados marcan la tendencia a obtener mejores resultados en los exámenes prácticos que los exámenes teóricos. De ahí que el objetivo de este trabajo sea valorar la influencia de la confección de los instrumentos teóricos de evaluación en la calidad de los resultados de los exámenes estatales en las carreras de tecnología de la salud.  Se utilizaron los siguientes métodos; Análisis Documental, Empíricos: Se revisó el 45% de los exámenes estatales teóricos. Estadísticos-matemáticos: Se aplicó el análisis de confiabilidad basado en el coeficiente alfa de Cronbach. La población: Soporte instrumental (20 perfiles) Jefes de carreras y perfiles (27)  así como especialistas de cada carrera.  Total de instrumentos de evaluación que serán aplicados. Muestra: El 29 % del total de los instrumentos teóricos de evaluación aplicados en el curso en los perfiles de TFR, Imagenología, Prótesis Estomatológica, Óptica y Optometría y Microbiología. Se demostró errores en la validación y confiabilidad de los  contenidos, señalando  errores en la selección de ltemáticas, ponderación del contenido y predominio del nivel reproductivo; lo cual; incide en la calidad de la elaboración de los exámenes teóricos de evaluación y en los resultados obtenidos por los estudiantes.

 

Palabras claves: 
exámenes estatales, instrumentos de evaluación, calidad de la evaluación.

 

ABSTRACT

The quality of the theoretical final degree examination has improved in the Technology of Health School. Nevertheless, when making a comparison, the practical exercise shows the best results, in relation to the theoretical one. For this reason, the objective of this research work is to evaluate the influence of the preparation of the theoretical evaluation devices on the quality of the results from the final degree examination in the Technology of Health majors. Different methods were used: Empiric Documental Analysis – the 45 per cent of Statistical – Mathematics theoretical final degree examination was checked. The reliability analysis based on ALFA de CROBACH coefficient was applied. The population was made up by 20 profiles (main support)- Also, 27 profiles including the heads of majors and the specialties participated. Sample: the 29 per cent  of the amount of theoretical evaluation devices were evaluated, in the profiles of Physic Therapy and Rehabilitition, Imagenology, Stomatological Prothesis, Optics and Optometry, and Microbiology. Some insufficiences were found in the selection of contents, the exaggeration of contents and the predominance of the reproductive level of assimilation. These didactic problems hinders the quality of the theoretical final degree examination as well as  the students`results.

 

Key Words: 

final degree examinations, evaluation instruments, quality of the evaluation.


INTRODUCCIÓN

La evaluación del aprendizaje es un componente esencial del proceso docente-educativo que nos posibilita su propia dirección, al verificar el grado con que se van alcanzando los objetivos generales de estudio propuestos. 1
La correcta aplicación del sistema de evaluación del aprendizaje, que tiene un carácter cualitativo e integrador, se basa en un conjunto de condiciones que constituyen las premisas básicas que debe satisfacer, las cuales se encuentran estrechamente relacionadas entre sí y cuya inobservancia impide se cumplan efectivamente sus funciones. Con fines didácticos exclusivamente las estructuramos en principios y exigencias.
Los principios de la evaluación son: la objetividad, la sistematización y continuidad, así como su carácter sistémico. Las exigencias que debe satisfacer son las de la validez y la confiabilidad. 2
 La Resolución Ministerial No 15 del 18 de Enero de 1988 que contiene el Reglamento para la Organización del Proceso Docente Educativo en los Centros de Educación Médica Superior en su artículo 122 establece el Examen Estatal como forma de culminación de los estudios de Ciencias Médicas y se realiza con la finalidad de comprobar la preparación de los estudiantes en la Carrera matriculada de acuerdo con los objetivos formulados en el modelo del Especialista.
Son varios los  estudios realizados  que hacen un análisis de la calidad de los Instrumentos teóricos de  evaluación de los Exámenes estatales en Ciencias médicas 3-4 los cuales arrojan deficiencias metodológicas en la elaboración de los cuestionarios y en las claves de calificación.
 La aplicación de los exámenes estales teóricos en la Facultad de Tecnología de la Salud aprobados en VADI No. 61/2008 como forma de culminación de estudio ha estado en constante perfeccionamiento. Sin embargo, los resultados de manera general en todos los perfiles marcan la tendencia a obtener mejores resultados en los exámenes prácticos que los exámenes teóricos. En ocasiones la diferencia entre el porciento de estudiantes aprobados y suspensos  no es significativa con relación a la matrícula pero si la calidad de los resultados obtenidos. Por tanto, el objetivo propuesto está encaminado a valorar la  influencia de la confección de los instrumentos teóricos de evaluación en la calidad de los  resultados de los exámenes estatales en las carreras de tecnología de la salud de los  cursos 2009-2010 y 2010-2011.

MATERIAL Y MÉTODOS

Análisis Documental: Se realizó una amplia revisión de artículos, tesis relacionadas con el tema objeto de investigación  lo cual permitió fundamentar científicamente los resultados obtenidos  y desarrollar acciones metodológicas en función de mejorar la calidad de los mismos.
Empíricos: Se revisó el   45% de los exámenes estatales teóricos. 
Estadísticos-matemáticos: Se aplicó el análisis de confiabilidad basado en el coeficiente alfa de Cronbach.
Población: Soporte instrumental (de los 20 perfiles) Jefes de carreras (7); jefes de  perfiles (20)  y   especialistas de cada carrera del área de la tecnología de la salud en el curso 2011-2012.
Total de instrumentos de evaluación que serán aplicados en el curso 2011-2012.
Muestra: El 29 % del total de los instrumentos teóricos de evaluación aplicados en el curso 2011-2012 en los perfiles de TFR, Imagenología, Prótesis Estomatológica, Óptica y Optometría y Microbiología.

ANÁLISIS Y DISCUSIÓN DE LOS RESULTADOS

Tabla I.  Estudiantes según calidad de los resultados obtenidos

Perfiles

Presentados

Suspensos

Aprobados

R

B

E

total

Imagenología

15

1

6

5

3

14

 Terapia Física y Rehabilitación

29

5

12

7

5

22

 Microbiología

13

 

5

6

2

13

Prótesis Estomatológica

21

5

14

1

 

15

Óptica y Optometría

14

8

6

 

 

6

En la tabla I se puede apreciar que prevalece  la categoría de regular es decir los estudiantes que su  evaluación se encuentra entre los 70 y 79 puntos.
 Si tomamos en consideración lo planteado en la VADI No. 61/2008 sobre Examen Estatal  donde se plantea: establecer el Examen Estatal como una evaluación certificativa de la competencia y desempeño para el ejercicio de la profesión de los futuros graduados, luego de haber aprobado las rotaciones de la práctica pre profesional, con las implicaciones que de ello se deriva en cuanto a elevar la calidad, rigor y exigencia de este ejercicio. 5
Si entendemos por competencia y desempeño la  capacidad de un individuo para dar respuesta eficaz a los problemas que se le presenten combinando una serie de conocimientos, actitudes, destrezas, habilidades  y garanticen su idoneidad para atender los problemas reales de los servicios de salud. 6   Entonces llegamos a la conclusión que los resultados anteriores no responden a las exigencias que se plantean a los estudiantes egresados de la facultad de tecnología de la salud.
 Para valorar  la calidad que deben tener los instrumentos teóricos de evaluación se hace necesario hacer un estudio sobre  la validez y confiabilidad  exigencias que en primer orden debe cumplir cada instrumento.    En la tabla II y III se podrá valorar la presencia de errores de cubrimiento aspecto relacionado con la validez del contenido.

Tabla II. Selección de las temáticas

Perfiles

Selección  de temáticas

Cantidad

C

I

 Imagenología

5

X

 

 Terapia Física y Rehabilitación

10

 

X

 Microbiología

10

 

X

Prótesis Estomatológica

7

X

 

Óptica y Optometría

4

X

 

La tabla muestra la selección de las temáticas por perfiles que aunque corresponde el rango que plantea,  para que un examen tenga validez debe evaluar entre  5 y 10 temáticas, la dificultad fundamental radica que de 2 perfiles 5 no realizan una adecuada selección de las mismas, al seleccionar como temáticas asignaturas que forman parte de disciplinas generales y no de las rectoras de cada especialidad.

Lo anterior trae como consecuencia errores de cubrimiento tanto por exceso como por defecto, al evaluarse  temáticas que no responden de manera directa  al perfil profesional del egresado.

Tabla III. Ponderación del contenido por temáticas

Perfiles

Temáticas

Errores de ponderación

Imagenología

5

2 T representan el 60% del total de Preguntas.

 Terapia Física y rehabilitación

10

1T representa el 2% del total de Preguntas.

 Óptica y Optometría

4

No hubo dificultades en la ponderación

 Microbiología

10

5 T representan el 2% del total de Preg.

Prótesis Estomatológica

7

 No hubo dificultades en la ponderación.

A partir de la bibliografía consultada se plantea que para que exista un equilibrio en el examen, cada temática debe tener como promedio de 5 a10 preguntas7. Por tanto, en la tabla se muestra que 3 de los 5 perfiles mostraron dificultades en la ponderación del contenido por temática, es decir, las preguntas respondían a temáticas muy específicas, no se evidencia interrelación entre las diferentes materias.
Otra dificultad que se evidencia al no hacer una adecuada ponderación de los contenidos son los llamados errores de cubrimiento donde habilidades importantes que el estudiante debe dominar no están incluidas en el examen y por el contrario se evalúan  elementos innecesarios.
En varias ocasiones se observa que las preguntas no tiene un enfoque desde el desempeño profesional del futuro graduado dirigido a la aplicación de técnica y/o procedimientos, sino, están en función del diagnóstico clínico aspecto este que no  está relacionado con sus competencias.

Tabla IV.  Preguntas según Niveles de asimilación del contenido. En exámenes estatales de 6 perfiles. Curso 20011-12.

 

Perfiles

Preguntas según Niveles de asimilación del contenido

Reproductivo

Aplicación de  técnicas  y procedimientos

Identificación y solución de problemas

#

%

#

%

#

%

Imagenología

39

78

7

14

4

8

Terapia Física y Rehabilitación

30

60

15

30

5

10

Microbiología

40

80

7

14

3

6

Óptica y Optometría 

22

44

20

40

8

16

Prótesis Estomatológica

17

34

20

40

13

26

Otro elemento importante para realizar un estudio de validez es revisar los niveles de asimilación de los contenidos en cada una de las preguntas del instrumento evaluativo. Este arrojó que el nivel de reproducción es predominante sobre la aplicación de técnicas y procedimientos y el de identificación y solución de problemas.  Si la exigencia de la enseñanza superior es que el estudiante sea capaz de crear y no solo reproducir, hay que enfatizar en este aspecto.

Errores en la elaboración de las preguntas.
Las insuficiencias de manera general están relacionadas con la elaboración metodológica de las preguntas en las que se evidencia:

  • Exceso de incisos y muy simple las combinaciones.
  • Problemas con la redacción, fundamentalmente en los enunciados de las preguntas.
  • Protocolos muy amplios y ambiguos.
  • Las preguntas de desarrollo tienden hacer reproductiva y no  van dirigidas en el mayor de los casos a la identificación y solución de problemas.
  • Se observaron preguntas con dos intenciones.
Para valorar la confiabilidad se aplicó el análisis de confiabilidad basado en el coeficiente alfa de Cronbach, dando como resultado  menor de  0,6 entonces se concluye que el examen tiene poca  confiabilidad.

CONCLUSIONES

En el estudio realizado se demuestran errores en la validación y confiabilidad  de los  contenidos dados por diferentes indacadores en los que podemos señalar insuficiencias  en la selección de las temáticas, ponderación del contenido y predominio del nivel reproductivo lo cual incide en la calidad de la elaboración de los exámenes teóricos de evaluación y en los resultados obtenidos por los estudiantes durante ese período.

REFERENCIAS BIBLIOGRÁFICAS

  1. Salas-Perea y colaboradores. La evaluación en la educación superior contemporánea. Biblioteca de medicina XXIV: La Paz. Bolivia 1998. Capítulo 1. Página 2
  2. Salas-Perea y colaboradores. La evaluación en la educación superior contemporánea. Biblioteca de medicina XXIV: La Paz. Bolivia 1998. Capítulo 1. Página 5
  3. Chiu Navarro V,  Rodríguez G, Alonso M. E. Experiencia del examen estatal en la carrera de estomatología. Educación Médica Superior 1997.
  4. Tamargo Rodríguez N. Los exámenes teóricos y los criterios de calificación. Sus dificultades. Una experiencia en la Facultad de Ciencias Médicas. “Dr. Enrique Cabrera”. Curso 2003-2004. Trabajo para optar por el título de máster en educación médica Ciudad de la Habana 2005.
  5. Instrucción VADI 61/ 2008. Sobre Examen Estatal. Dado en el ministerio de salud pública en la Ciudad de la Habana a los 22 de abril del 2008. Año 50 de la Revolución.
  6. González Maura V. ¿Qué significa ser un profesional competente? Reflexiones desde una perspectiva psicológica. Disponible en: http://www.rieoei.org/deloslectores/Maura.PDF
  7. Salas-Perea y colaboradores. La evaluación en la educación superior contemporánea. Biblioteca de medicina XXIV: La Paz. Bolivia 1998. Capítulo 3.
  8. Rivera Michelena N. La didáctica como ciencia. Su objeto. Los objetivos de la enseñanza. Enfoque sistémico de la didáctica en la educación superior. Proceso enseñanza aprendizaje: Lecturas seleccionadas. Material de estudio de la Maestría de Educación Médica. [CD-ROM]. La Habana: Escuela Nacional de Salud Pública; 2005.
  9. Salas Perea R. Calidad de los instrumentos de evaluación. Módulo Evaluación y recursos del aprendizaje. Material de estudio Maestría en Educación Médica. [CD-ROM]. La Habana: Escuela Nacional de Salud Pública; 2005.
  10. Pérez Espinosa M L. Comportamiento de los resultados del examen de competencia de Medicina General Integral. [tesis para optar por el título de Master en Educación Médica Superior]. La Habana: Escuela Nacional de Salud Pública; 2003.
  11. Moreno Montañez M, Quintana Regalado G. Caracterización del examen estatal escrito en la especialidad de Medicina General Integral. Educ Med Super v.23 n.3 Ciudad de la Habana 2009; jul.-sep.

ANEXOS

Tabla 1. Resultados Generales del Examen  Estatal  de Tecnología de la Salud en la UCM-H en

el curso 2010-2011
I. Resultados Generales: Incluye a todos los estudiantes examinados

Estatal
Presentados
Aprobados
%
Desaprobados
%
Práctico
1185
1165
98,31
20
1,69
Escrito
1194
1000
83,75
194
16,25
Final
1214
1000
82,37
214
17,63

Tabla 2. Calificaciones Obtenidas según Tipo de Ejercicios

 

Variables

Calificaciones Obtenidas según Tipo de Ejercicios y Nota Final

 

<70

%

70-79

%

80-89

%

90 y+

%

Total

UCM CH

 

 

 

 

 

 

 

 

 

Práctico

20
1,69
94
7,93
151
12,74
920
77,64
1185

Escrito

194
16,25
433
36,26
356
29,82
211
17,67
1194

Nota Final

214
17,63
97
7,99
475
39,13
428
35,26
1214