Del bronce al benchmark: Validación de etiquetas en discursos parlamentarios en español para la investigación en agendas de políticas públicas
- Programa:
- Sesión 8, Sesión 8
Día: viernes, 11 de septiembre de 2026
Hora: 11:00 a 12:45
Lugar: 23
Este trabajo presenta una extensión del benchmark para discursos parlamentarios en español en el marco del programa del Oxford Computational Political Science Group (OCPSG) sobre evaluación comparada de modelos fundacionales (Large Language Models, LLMs) y modelos Transformers afinados para la anotación multilingüe de agendas de políticas públicas. El conjunto de datos OCPSG Silver Standard se construye a partir de ParlaMint 5.0 y ParlLawSpeech, clasificados mediante tres modelos afinados XLM-RoBERTa-large: ParlaCAP, CAP Babel Machine en lengua original y CAP Babel Machine sobre textos traducidos al inglés. A partir de una estrategia metodológica basada en medidas de consenso y entropía, se obtiene un estándar plateado de alta calidad, orientado a minimizar la incertidumbre y a su uso en evaluaciones comparativas y en procesos de entrenamiento de nuevos modelos. Sin embargo, los discursos en español quedaron excluidos del estándar plateado final porque superaban el umbral de entropía establecido para su inclusión. Sostenemos que esta exclusión no debe entenderse como un caso fallido, sino como una oportunidad de innovación metodológica. Al relajar el criterio desde el estándar plateado al de bronce, el conjunto disponible en español se expande hasta 13.006 observaciones en 20 áreas de política pública, con un incremento de más de 12.000 casos. Sobre esta base, evaluamos si etiquetas con incertidumbre moderada, es decir, de estándar de bronce, pueden transformarse en observaciones confiables mediante validación humana focalizada, protocolos de adjudicación y muestreo dirigido, contribuyendo así a la reparación metodológica de la clasificación automática de discursos parlamentarios para la investigación comparada.
Palabras clave: LLMs, Transformers, aprendizaje automático, políticas públicas