Child, Adolescent & Family

Resumen Principal (Volumen II)

Utilización de los Datos de Evaluación para Administrar, Mejorar, Promover y Mantener Servicios para Niños

INTRODUCCIÓN

Los proveedores y evaluadores de los servicios de salud mental para niños y sus familias se encuentran muy a menudo con la tarea de traducir resultados de evaluaciones en informes claros y significativos que puedan ilustrar los recursos, vacíos, gastos y resultados de sus programas. La amplia gama de datos comúnmente recolectada por proveedores de servicios públicos incluye la descripción demográfica de sus clientes, utilización de servicios, costos del sistema, satisfacción de usuarios e indicadores emocionales y de conducta. El análisis efectivo, la interpretación y la presentación de estos elementos de información, requieren una mezcla de ciencia, arte, tecnología y relaciones humanas. Sin embargo, los informes de evaluación una vez producidos y diseminados, pueden ser herramientas efectivas para mejorar la provisión de servicios, organizar el apoyo público, validar decisiones administrativas y mantener interés emocional y financiero en los sistemas de servicio.

Los informes de evaluación de datos efectivos pueden ser herramientas efectivas para mejorar y mantener sistemas de provisión de servicios coordinados para niños y familias.

El propósito de esta monografía es describir prácticas prometedoras en el uso de datos de evaluación en comunidades financiadas por el Centro Federal de Servicios de Salud Mental como parte del Programa Comunitario de Servicios Comprensivos de Salud Mental para Niños y sus Familias. Los sitios incluidos en esta monografía han estado desarrollando e implementando sus programas de evaluación durante los últimos cinco años como requisito a subvención federal. Estos sistemas de cuidado seleccionados han sido considerados como algunos de los más exitosos por el hecho de haber ido más allá de sus obligaciones contractuales y convertirse en verdaderos sistemas de información comprometidos a: (a) medir la efectividad de sus servicios locales por medio de análisis de datos estratégicos; (b) introducir poco a poco en sus prácticas mecanismos de evaluación consistentes y precisos; y (c) responder a los resultados de las evaluaciones con toma de decisiones en base a la información y mejoramiento de sistemas. Es la intención de esta monografía compartir la riqueza de ideas y experiencias de estos programas acerca del uso de información local de manera que puedan impactar la provisión, administración y sostenimiento de servicios comunitarios para niños y familias.

Los sitios de prácticas prometedoras seleccionados para elaborar informes de evaluación son:

Community Wraparound Initiative, Illinois
Families First/Access, Vermont
KanFocus, Parsons, Kansas
Multiagency Integrated System of Care (MISC), Santa Barbara, California
Stark County Family Council, Ohio
Texas Department of Mental Health and Mental Retardation Children’s Services (DMHMR)*
Wings for Children and Families, Maine

*Nota: Texas DMHMR no es un programa del sistema de cuidado financiado por el gobierno federal.

DISEGÑO DEL ESTUDIO

Las interrogantes de investigación que guiaron gran parte del trabajo para esta monografía se enfocaron en las experiencias de un grupo de "beneficiarios interesados" de la efectividad de los informes y en la utilización de datos de la evaluación. El objetivo de los autores fue triple: (a) describir cómo una "cultura" partidaria de la evaluación se ha ido creando en cada sitio seleccionado para reforzar y sostener la utilización de datos; (b) ilustrar los principales "mensajes para utilizar" y describir cómo se desarrollaron estos mensajes en la muestra de productos de evaluación; y (c) captar ejemplos específicos donde la información fue crítica en el proceso de toma de decisiones o provocó cambios en programas o políticas. Esta monografía no es una guía de "cómo" desarrollar programas de evaluación, sino que provee ejemplos del uso efectivo de datos de evaluación cuando son recolectados con medidas válidas y confiables. Ilustra como los programas seleccionados han desarrollado procesos que incluyen la evaluación para generar productos de informes de datos efectivos que causen impacto en el ámbito local, estatal y nacional.

Se programaron entrevistas con varios de los "beneficiarios interesados" de aquellos sitios específicamente nominados por expertos locales y nacionales como ejemplos relevantes de sistemas orientados a datos. Las entrevistas fueron semiestructuradas y basadas en las interrogantes de investigación descritas arriba. En resumen, 19 entrevistas fueron conducidas por teléfono o en persona con familiares, directores de cada programa, evaluadores y proveedores de servicios en los sitios nominados para ser incluidos en la monografía. Adicionalmente, los autores revisaron todos los productos de los informes de datos desarrollados en cada sitio, incluyendo tarjetas de informes comunitarios, informes descriptivos de resultados, boletines y presentaciones en conferencias.

HALLAZGOS

Los análisis de las entrevistas y de los productos de evaluación en los programas de prácticas prometedoras, revelan un patrón en el establecimiento de apoyo a la evaluación y al uso de datos. Las técnicas usadas para ganar el interés inicial de la gente y establecer una "cultura de evaluación" incluyen los siguientes procesos:

Ganar el apoyo de diversas alianzas en la formación de planes de proyectos de evaluación y elaboración de informes;
Supervisar y agilizar la administración de instrumentos y la recolección de datos;
Proveer entrenamiento inicial y continuado competente acerca de la utilidad de la información de evaluación;
Involucrar a miembros de la familia en el desarrollo, diseminación e interpretación de los resultados de la evaluación;
Producir informes consistentes puntualmente y diseminarlos a amplias audiencias;
Discutir el programa de evaluación y resultados en múltiples canales
Usar costos integrados y datos de resultados para ganar el apoyo de grupos de planificación y financiamiento.

Los sitios también han creado soluciones creativas, innovadoras y efectivas para el análisis y publicación de sus servicios y datos de resultados. Algunos de los productos más informativos y convincentes desarrollados en los sitios son: informes descriptivos de resultados de niños y familias atendidos por los programas, informes de seguimiento de instrumentos de evaluación administrados individualmente, presentaciones de conferencias y otras publicaciones académicas, boletines y folletos informativos, e informes de tasas de rendimiento de recolección de datos. Los principales "mensajes para utilizar" de estos informes de evaluación han sido: (a) que la información de resultados puede ser un catalizador poderoso para el cambio y desarrollo de programas; (b) que los datos son esenciales para mejorar la individualización y efectividad de la provisión de servicios; y (c) que la evaluación puede proveer evidencias indiscutibles de logro de resultados para apoyar el sostenimiento y construcción de una cultura de evaluación.

Los datos han sido utilizados para apoyar actividades y compromisos de los sitios con los principios de provisión de servicios, así como también:

Para planificar, perfeccionar y mantener servicios;
Para apoyar las decisiones de los padres y fortalecer la participación de la familia;
Para construir alianzas y dar credibilidad a los esfuerzos coordinados;
Para promover logros e incrementar la toma de conciencia de la fortaleza y las necesidades del sistema;
Para levantar la moral y demostrar el progreso del personal de avanzada y miembros de la familia;
Para asegurar igualdad y responsabilidad de la provisión de servicios;
Para promover la planificación de servicios y valores de sistemas de cuidado basados en la fortaleza;
Para fomentar el desarrollo de sofisticados sistemas de información integrados; y
Para incrementar asignaciones federales y estatales para programas o iniciativas similares.

Los evaluadores en los sitios de servicio ilustrados en esta monografía han desarrollado maneras para combinar ciencia, comunicaciones y aptitudes gráficas en las presentaciones de sus datos de evaluación, las cuales han dado exposición pública a sus servicios, fomentado mejoras de sistemas y apoyado el sostenimiento del programa. Ellos han sido flexibles y han respondido a las necesidades de sus sistemas de cuidado haciendo visible sus datos de manera significativa, lo cual deja a la audiencia nacional, estatal y local mensajes concretos para ser tomados, hechos comprensibles e ideas para promover modificaciones y sostenimiento del sistema de manera efectiva.

Una cultura de evaluación de apoyo es la fundación, tanto como el resultado, para producir informes de datos que hagan impacto en múltiples niveles.

IMPLICACIONES

Los resultados de este estudio descriptivo indican que la utilidad y efectividad del seguimiento de la evaluación están intrincadamente ligadas a: (a) la amplitud y complejidad del sistema de provisión de servicios; (b) la integración del programa de evaluación con la provisión del servicio; (c) la calidad del sistema de administración de información en uso; y aún (d) el clima político que patrocina los servicios para niños y familias. Además, los mecanismos de informes de datos sistemáticos y funcionales requieren procesos multifacéticos para apoyar una "cultura de evaluación" y productos altamente visibles que sean oportunos, significativos y prácticos para distintas audiencias. Una vez que estos métodos se establecen, los informes de evaluación útiles se pueden convertir en los dividendos de un programa de evaluación efectivo, ofreciendo a los participantes merecidos frutos de su inversión personal y financiera. Solamente a través de estos desafiantes pero efectivos procesos de seguimiento de datos, pueden los sistemas verdaderamente adaptarse, crecer y sobrevivir en las muchas veces intranquilas aguas de los servicios de salud de la conducta.

Los informes de evaluación útiles son los dividendos de un programa de evaluación efectivo, que ofrece a sus participantes merecidos frutos de su inversión.