Desafíos Metodológicos para Evaluar la Comunicación para el Cambio de Comportamiento (CCC)

En lo que se refiere a la participación comunitaria, Bertrand y Kincaid (1996) publicaron una lista de indicadores del proceso que miden las actividades realizadas pero no los resultados logrados. Los objetivos de la participación comunitaria pueden incluir—aunque no limitarse a—cambios de comportamientos en aspectos de la salud, pero también pueden abarcar objetivos como desarrollar la capacidad gerencial, fortalecer la infraestructura organizacional, motivar la participación de distintos subgrupos, y así sucesivamente. A continuación, un resumen de los desafíos enunciados en la investigación.

La evaluación de los programas de CCC presenta una serie de desafíos metodológicos que abarcan, pero no se limitan, a los siguientes:

• En los programas que tienen un componente de comunicación masiva, los evaluadores no pueden identificar un grupo control apropiado (o un grupo control siquiera) y, por lo tanto, no pueden descartar los factores distorsionadores o factores de confusión (el problema de la atribución).
  
  En la evaluación de programas a nivel del campo, muchos evaluadores han tenido dificultad en establecer un grupo control, a menudo más por razones administrativas (por ejemplo, por falta de tiempo, falta de dinero, por el poco interés en evaluación, por la renuencia a dejar sin la intervención que se desea implementar a una parte de la audiencia objetivo por el bien de la investigación) que por razones técnicas. Sin embargo, cuando los programas tienen un componente de comunicación masiva, resulta prácticamente imposible establecer un grupo control (con asignación aleatoria de los sujetos), o incluso un grupo de comparación (una población con características socio- demográficas similares), que no esté expuesto a la intervención de comunicación. Sin un grupo control o de comparación, no se puede responder concretamente a la pregunta: “¿Qué hubiera sucedido sin la intervención?” Por lo tanto, aunque la evaluación muestre el incremento deseado en las variables de resultado, el efecto no se puede atribuir de manera inequívoca a la intervención de comunicación, pues es probable que otros factores distorsionadores o factores de confusión (por ejemplo, una actividad de comunicación promovida por otra organización, la inestabilidad política, un desastre natural, la exposición a los medios de comunicación masiva en general), pudieran haber dado origen o contribuido a dar origen al cambio observado (o a la falta de dicho cambio).
  
  Un enfoque alternativo para evaluar la eficacia de las intervenciones de CCC consiste en realizar entre la audiencia objetivo un estudio de línea basal y uno de seguimiento, para medir:
  • Una serie de variables en las ideas, o variables ideacionales, que representan la secuencia de pasos hacia el cambio de comportamiento1 (véase el marco conceptual de la Gráfica II.F.1);
  • Las características socio-demográficas de los participantes; y
  • Los datos de la intensidad de la exposición a los mensajes específicos del programa de comunicación (por ejemplo, con base en la recordación de los mensajes específicos, en el número de canales o en una combinación de ambos).
  Este tercer tipo de datos (la intensidad de la exposición) permite al evaluador probar la relación “dosis-respuesta” como posible factor determinante de cada una de las variables ideacionales, después de controlar por los factores sociodemográficos (por ejemplo, la educación) cuya infuencia es conocida en el comportamiento en aspectos relacionados con la salud. Aunque esta descripción es bastante simplista para el diseño y el análisis estadístico que esto implica, sí explica el porqué se seleccionaron los indicadores que se mecionarán más adelante.
  
  Kincaid señala cuatro condiciones que deben estar presentes para que los evaluadores puedan inferir una atribución causal: (1) la observación de un cambio o diferencia en la población de interés, (2) una correlación entre la exposición a la intervención y el resultado esperado, (3) evidencia de que la exposición a la intervención ocurrió antes que se diera el cambio en el resultado (es decir, el orden en que ocurren los eventos) y (4) el control o eliminación de los factores de confusión (o efectos distorsionadores). Estas condiciones no resuelven totalmente el problema de la falta de un grupo control, pero Kincaid argumenta que sí es posible obtener resultados convincentes del efecto de los programas de comunicación, si se combina un tipo de evaluación con base en la teoría con los patrones de influencia observables en los datos, aún en los programas que tienen un componente de comunicación masiva. Para más detalles sobre estos temas, se recomienda consultar el trabajo de Bertrand y Kincaid (1996). entre la exposición a la intervención y el resultado esperado, (3) evidencia de que la exposición a la intervención ocurrió antes que se diera el cambio en el resultado (es decir, el orden en que ocurren los eventos) y (4) el control o eliminación de los factores de confusión (o efectos distorsionadores). Estas condiciones no resuelven totalmente el problema de la falta de un grupo control, pero Kincaid argumenta que sí es posible obtener resultados convincentes del efecto de los programas de comunicación, si se combina un tipo de evaluación con base en la teoría con los patrones de influencia observables en los datos, aún en los programas que tienen un componente de comunicación masiva. Para más detalles sobre estos temas, se recomienda consultar el trabajo de Bertrand y Kincaid (1996).
  
  Todas las áreas operativas de los programas de PF/SR trabajan bajo cierta presión para demostrar su eficacia, pero la presión ha sido particularmente fuerte para los programas de CCC. Una razón para ello es que estos programas afirman lograr cambios de comportamiento entre la población y, al hacerlo, invitan a que se les responda con un “demuéstrelo.” Otra razón es que la gama de factores de confusión tiene el potencial de ser mayor para la CCC que para las otras áreas operativas. Por ejemplo, el sistema logístico de anticonceptivos y medicamentos tiene pocas probabilidades de mejorar espontáneamente sin las intervenciones específicas de los programas (por ejemplo, la capacitación, el equipo). De la misma manera, los proveedores de servicios en las clínicas tienen pocas probabilidades de encontrarse casualmente con las instrucciones para insertar o retirar el NORPLANT; más bien la única manera de aprender dicha técnica es por medio de un evento de capacitación específico. En contraste, es muy probable que el público en general se entere de la transmisión del VIH por medio de acciones ajenas al programa (por ejemplo, por la amplia cobertura que los medios de los Estados Unidos dieron al jugador de baloncesto Magic Johnson cuando anunció públicamente que era VIH seropositivo). De tal manera que, entre las distintas áreas operativas o funcionales, los programas de CCC tienen la carga de tener que comprobar, con la evidencia más rigurosa, que los cambios de comportamiento observados a nivel de la población son el resultado de sus intervenciones y no de otros factores de confusión del contexto.


• Se hizo una encuesta de línea basal, pero carecía de ciertos indicadores clave.
  
  En algunos casos, el grupo que dirige la encuesta de la línea basal es distinto al que hace la evaluación, de tal manera que el primer grupo podría no haber pensado en incluir algunos indicadores que posteriormente un evaluador podría querer o necesitar. Aunque el mismo grupo desempeñara ambas funciones, podría ocurrir algo que no se contempló al hacer el estudio de línea basal. Por ejemplo, en un estudio realizado en el Departamento de Quiché en Guatemala, se hizo un estudio de línea basal con el propósito explícito de evaluar un programa con intervenciones múltiples. Sin embargo, las personas que diseñaron el estudio no sabían que el personal del programa estaba produciendo un video sobre problemas de salud reproductiva, cuyo libreto estaba narrado en el idioma Maya local y giraba alrededor de las familias Mayas. Los directores del programa valoraron subjetivamente este vehículo de comunicación como el medio más efectivo para “llegar” a esta comunidad (conocida tradicionalmente por ser muy cerrada a personas extrañas) con mensajes sobre el espaciamiento de los embarazos y la salud reproductiva. Sin embargo, el estudio no incluyó ninguna pregunta para probar esta premisa, por lo que la eficacia del video fue puramente especulativa.
  
  Este problema se puede presentar también si la organización que diseña la investigación deja la responsabilidad de recopilar los datos en manos de una empresa de investigación de mercados. Esta última - no entendiendo la importancia de ciertas preguntas específicas - las puede eliminar del cuestionario (para acortar la duración de la entrevista, para mejorar el flujo de las preguntas o por otras razones que podrían parecerle lógicas). Sin embargo, el resultado es que hace falta información clave al hacer los análisis. Este problema se relaciona con otro mayor: encontrar y trabajar de la mano con una agencia de investigación de mercados que sea confiable, que pueda garantizar el control de la calidad en la recopilación de los datos y que haga un análisis estadístico correcto al reportar los resultados.


• Es probable que el intervalo de tiempo entre el programa de comunicación y la evaluación de seguimiento fuera muy corto o muy largo.
  
  No hay un intervalo de tiempo “establecido” o “correcto” entre el lanzamiento de un programa de comunicación y la evaluación de seguimiento. Las agencias publicitarias que trabajan con presupuestos multimillonarios en los países desarrollados esperan ver los efectos de una campaña reflejados en las ventas en cuestión de semanas. Sin embargo, los cambios de comportamiento en los aspectos de salud reproductiva que están culturalmente arraigados, pueden tomar meses o hasta años en lograrse, por lo que el intervalo entre el lanzamiento y la evaluación suele, más que por razones técnicas, dictarse por decisiones administrativas.
  
  Como resultado de todo esto, el intervalo de tiempo puede ser muy corto o muy largo. Un intervalo “muy corto” tiende a ocurrir cuando el proyecto debe completarse dentro de un período de tiempo específico determinado por el donante (por ejemplo, al final del proyecto). A menudo sucede que un proyecto que debía tener un período extenso para implementar la intervención, termina teniendo poco tiempo porque ocurre algo que retrasa la fase inicial del proyecto y, por lo tanto, se ve forzado a disminuir el tiempo efectivo de implementación del programa. En tal caso, es probable que el programa no muestre resultados simplemente porque ha transcurrido muy poco tiempo para que los efectos se afiancen.
  
  Un intervalo “muy largo” ocurre cuando la implementación se hace conforme al cronograma, pero la evaluación de seguimiento se atrasa, muchas veces por razones administrativas (por ejemplo, porque los fondos no están disponibles, porque el personal se asigna a otra actividad), o por factores que están fuera del con- trol del programa (por ejemplo, por la temporada de huracanes o temporales). Cuando el intervalo de tiempo entre la intervención de comunicación y la evaluación de seguimiento se extiende exageradamente, hay más probabilidades de que intervengan otros factores distorsionadores o factores de confusión.


• Es probable que la organización no tenga el tiempo o el dinero necesarios para hacer una evaluación adecuada.
  
  Este problema de ninguna manera es exclusivo de la CCC, sino que aplica de igual manera a casi todas las secciones del Compendio. En términos de tiempo, el tener que conducir un estudio de línea basal antes de lanzar la comunicación puede ocasionar un retraso inaceptable, si el programa tiene un calendario apretado. En términos de dinero, los gerentes de programa muchas veces sienten que los fondos estarían mejor orientados a hacer más de lo que el programa hace aunque esto signifique que hacen menos en términos de evaluación o que no asignen las partidas para este rubro. Es probable que esta forma de pensar esté disminuyendo a medida que incrementa la presión de la responsabilidad de rendir cuentas, pero es evidente aún en muchas organizaciones.


• Obtener formularios de consentimiento para los temas que involucran al ser humano suele requerir esfuerzo, tiempo y dinero.
  
  Algunas organizaciones, si no es que la mayoría, requieren que toda propuesta de investigación que in- volucra al ser humano se someta a un exhaustivo proceso de revisión. El que generalmente lleva a cabo este proceso de revisión y aprobación es un Comité de Investigación Humana; y el proceso implica, frecuentemente, tener que presentar una propuesta con todos los protocolos de la investigación y los instrumentos del estudio, los formularios de consentimiento, la aprobación de la Oficina de Revisión Interna del país y una traducción oficial de los Formularios de Consentimiento Oral al idioma local.
  
  En la mayoría de los países en desarrollo que tienen programas de comunicación, las barreras culturales y las barreras de idioma contribuyen a que haya malas interpretaciones de los formularios de consentimiento. En primer lugar, muchas personas no saben leer y, por lo tanto, pueden no estar dispuestas o no estar en condiciones de firmar un documento. En segundo lugar, aunque sepan leer y firmar, pueden sospechar de firmar cualquier documento que parezca oficial por temor a que sea utilizado con otros fines. Además, en muchas situaciones existe la percepción de que la necesidad de firmar algo implica una agenda escondida, que de pronto puede ser peligrosa.
  
  Otro problema para las organizaciones es obtener la aprobación de un Comité de Investigación Local. Algunas veces es difícil o requiere mucho tiempo y dinero llenar los requisitos del Comité de Investigación Humana y otros requisitos, como tener que presentar el cuestionario “final” con su traducción al idioma local. Con bastante frecuencia, obtener la aprobación de uno de estos Comités de Investigación Humana puede tomar hasta seis meses, siendo el promedio de tres a cuatro meses. Este retraso plantea serios problemas de tiempo para los programas.