Evaluación de Modelos Generativos

El dataset EXIST-2024 Memes está específicamente diseñado para fomentar y facilitar la investigación sobre detección automática del sexismo en contenido visual compartido en redes sociales. Constituye la base para las tareas 4, 5 y 6 del desafío EXIST-2024, enfocándose en el análisis detallado de memes como medio para expresar, criticar o describir comportamientos sexistas. Este conjunto se compone de más de 5,000 memes etiquetados, cuidadosamente equilibrados en términos lingüísticos entre español e inglés, permitiendo un análisis comparativo intercultural y lingüístico. Los datos están distribuidos en dos particiones principales: una partición de entrenamiento con 4,044 memes y una partición de prueba con 1,053 memes, asegurando una robusta evaluación y comparación de modelos.

Las tareas propuestas sobre este dataset replican estructuralmente las planteadas originalmente para textos en tuits, pero adaptadas cuidadosamente a contenidos visuales:

• La tarea 4 aborda la identificación binaria, exigiendo a los sistemas determinar si un meme específico es sexista o no. Esta tarea establece las bases necesarias para la clasificación posterior, actuando como un filtro inicial fundamental.
• La tarea 5 profundiza en el análisis semántico y pragmático al determinar la intención subyacente tras la creación del meme sexista. Debido a la naturaleza predominantemente directa o crítica de los memes, esta tarea se limita a las categorías “DIRECT”, cuando el meme expresa sexismo explícitamente, y “JUDGEMENTAL”, cuando el meme critica o denuncia comportamientos sexistas. La categoría “REPORTED” se excluye prácticamente debido a su baja prevalencia en contenidos visuales como los memes.
• Finalmente, la tarea 6 aborda un desafío complejo de clasificación multi-etiqueta, asignando a cada meme una o más categorías que describen específicamente el tipo o tipos de sexismo representados. Las categorías disponibles son “IDEOLOGICAL-INEQUALITY”, cuando el meme deslegitima movimientos feministas o niega la desigualdad de género; “STEREOTYPING-DOMINANCE”, para memes que promueven estereotipos o supremacía masculina; “OBJECTIFICATION”, cuando el meme reduce a las mujeres a objetos o enfatiza sus atributos físicos de manera inapropiada; “SEXUAL-VIOLENCE”, si incluye sugerencias o amenazas de naturaleza sexual; y “MISOGYNY-NON-SEXUAL-VIOLENCE”, cuando expresa odio hacia las mujeres sin implicaciones sexuales explícitas.

Cada instancia del dataset EXIST-2024 Memes está representada por dos elementos principales: una imagen y un texto asociado, extraído automáticamente mediante técnicas OCR, lo que permite a los modelos emplear métodos multimodales avanzados para el análisis de contenido. La evaluación de los modelos participantes utiliza la métrica especializada Information Contrast Measure (ICM), adecuada a un contexto de evaluación soft, considerando las diferencias intrínsecas y la subjetividad potencial en las anotaciones proporcionadas por múltiples evaluadores con características sociodemográficas diversas.