El principal reto al que se enfrenta una universidad al decidir implementar la automatización de comentarios de estudiantes a encuestas con inteligencia artificial radica en equilibrar la innovación tecnológica con la integridad académica y la privacidad de los datos. La institución debe asegurarse de que la IA sea capaz de interpretar correctamente la diversidad de respuestas y opiniones del cuerpo estudiantil y docente, manteniendo al mismo tiempo la confidencialidad y el anonimato. Además, la universidad debe superar la resistencia al cambio por parte de algunos miembros de la comunidad educativa, quienes pueden ser escépticos sobre la fiabilidad y efectividad de las soluciones automatizadas en comparación con los métodos tradicionales. Este desafío implica no solo una inversión en tecnología avanzada, sino también en la capacitación y el desarrollo profesional para garantizar una transición fluida y la aceptación generalizada de la nueva herramienta.
CLIENTE
Innovación y servicio al cliente
Fundada en 1992, una institución académica que se ha consolidado como una universidad líder en educación a distancia y en línea. Es pionera en la enseñanza en línea y ha desarrollado una sólida plataforma de aprendizaje virtual.
RETO
Modelo de Gobierno API
Agilizar el proceso de análisis de comentarios y sacar conclusiones de forma ágil y con criterios homogeneos que faciliten la toma de decisiones. La importancia de la automatización de comentarios de encuestas en universidades utilizando Inteligencia Artificial (IA) reside en su capacidad para procesar grandes volúmenes de datos de manera eficiente y objetiva.
Esto facilita la toma de decisiones basada en datos, mejora la calidad de la educación y personaliza la experiencia de aprendizaje.
SOLUCIÓN
Una solución con IA para la automatización de comentarios de encuestas en universidades debe ser intuitiva y fácil de usar, capaz de analizar el lenguaje natural para comprender y clasificar las respuestas de manera efectiva. Además, garantiza la confidencialidad y anonimato de los datos para preservar la integridad de la información y la privacidad de los participantes.Diseño de un sistema inteligente que utiliza técnicas avanzadas de procesamiento de lenguaje natural (NLP) y aprendizaje automático. El sistema clasifica automáticamente los comentarios en categorías relevantes, como “elogios”, “sugerencias”, “preocupaciones” o “quejas”. Además, identifica patrones emergentes y tendencias ocultas para clasificar en base a los criterios de decisión para las oportunidades de mejora que se detecten.
Inicialmente se realizaron tests con modelos de Machine Learning para evaluar las métricas de esta estrategia, tanto en precisión de los modelos como en coste de cómputo. Dado el performance obtenido pasamos de usar estos clasificadores clásicos a usar modelos LLM. Los modelos probados fueron GPT 3.5 y GPT 4.
El proceso se plantea en distintos pasos:
• Segregación de los comentarios inespecíficos. Con ello se elimina el ‘ruido’ en el modelo y permite centrarse en aquellos comentarios que aportan sentido.
• Detección de menciones negativas. Se ingestan los comentarios en GPT-4 para separarlos en primera instancia entre menciones negativas y positivas.
• Modelo de clasificación y análisis. Proceso subdividido en dos partes: se clasifican las menciones negativas en 18 categorías de nivel 1 y luego en las 47 subcategorías planteadas por negocio.
• Luego aplica una fase de postproceso con el objetivo de transformar las predicciones de clasificación al formato usado por el equipo de IPN.
Desde un punto de vista tecnológico
La solución que mejores resultados obtuvo fue una combinación de fine tune para la clasificación de las categorías de nivel 1 y prompting con ejemplos canónicos para las subcategorías de nivel 2.
En esta aproximación, primero se realizó un entrenamiento de un modelo GPT-3.5-turbo con un subconjunto de los datos proporcionados por negocio.
Tras esta primera clasificación de nivel 1, el proceso consistía en, para cada categoría de nivel 1 predicha por el modelo, realizar el prompting con ejemplos canónicos para la clasificación de la queja en una o más de sus subcategorías.
En cuanto a la arquitectura, el sistema se compone de los siguientes componentes:
• Azure Blob Storage: Para el almacenamiento de los comentarios de las encuestas.
• Azure Functions: Para la orquestación y el control por eventos del procesamiento y clasificación automática de los comentarios.
• Modelo de Clasificación: Se propone un enfoque basado en servicios de Azure-OpenAI y herramientas de procesamiento en Python.
Desde un punto de vista metodológico
Los modelos LLM pueden generalizar y adaptarse a múltiples tareas lingüísticas sin necesidad de reentrenamiento específico para cada una. Su capacidad semántica permite ‘entender’ los comentarios libres de los alumnos. A esto se le añaden técnicas como few-shot y fine tunning para ajustar el contexto en el que se clasifica texto libre y dotarle de aptitudes de categorización a medida.
BENEFICIOS
- Ahorro de tiempos en la lectura y procesado de los literales que ya no requieren de un esfuerzo 100% manual. El experto sólo deberá dedicarse a resolver casos de ambigüedad y no específicos.
- Superar la subjetividad en las distintas evaluaciones que se realizan.
- Facilidad para el análisis de las oportunidades de mejora que ayuden a paliar las quejas recibidas.
- Posibilidad de abordar la clasificación de las menciones positivas no tratadas nunca hasta ahora y de alto valor analítico.
- Ahorro de esfuerzo: liberamos horas de trabajo manual. Nuestros analistas ahora pueden dedicarse a tareas estratégicas y de mayor valor añadido.
- Precisión y agilidad: la automatización garantiza una clasificación precisa y rápida. No más esperas semestrales; ahora actuamos con celeridad.
- Decisiones informadas: los líderes de la universidad cuentan con información oportuna y detallada. Esto ha mejorado la toma de decisiones en áreas como la mejora de programas académicos y la satisfacción estudiantil.
TECNOLOGÍAS
- Azure Blob Storage para el almacenamiento.
- Azure Functions para la orquestación y con trol por eventos.
- Azure Event Grid como desencadenador de acciones.
- Azure AI para la gobierno de modelos y el LLMOps.
- Azure OpenAI Services para el análisis con IA Generativa, preprocesamiento de comentarios y aplicación de los modelos de clasificación actuando como gestores de conocimiento.