Esta tarea pretende clasificar los tuits sexistas según la intención del autor, lo que permite comprender el papel que desempeñan las redes sociales en la emisión y difusión de mensajes sexistas. En esta tarea, se propone una clasificación ternaria: direct, reported, judgemental.
En esta tarea se contempla una evaluación soft-soft en la que se compara la probabilidad de cada etiqueta predicha por el sistema con la probabilidad definida a partir del desacuerdo en la anotación en el gold standard.
Publicación
Plaza, L. et al. (2023). Overview of EXIST 2023 – Learning with Disagreement for Sexism Identification and Characterization. In: Arampatzis, A., et al. Experimental IR Meets Multilinguality, Multimodality, and Interaction. CLEF 2023. Lecture Notes in Computer Science, vol 14163. Springer, Cham. https://doi.org/10.1007/978-3-031-42448-9_23
Competición
Idioma
Español
URL Tarea
NLP topic
Tarea abstracta
Año
2023
Enlace publicación
Métrica Ranking
ICM
Mejores resultados para la tarea
| Sistema | ICM Soft Norm Ordenar ascendente |
|---|---|
| xlm_roberta_cpt_en_es | 0.4654 |
| xlm_roberta_cpt_en_es v2 | 0.4654 |
| Llama-3.1-8B | 0.4640 |
| Hermes-3-Llama-3.1-8B_mix_2 | 0.4585 |
| Hermes-3-Llama-3.1-8B_mix_4 | 0.4585 |
| Hermes-3-Llama-3.1-8B_mix_5 | 0.4585 |
| Hermes-3-Llama-3.1-8B_mix_6 | 0.4585 |
| Qwen2.5-14B-Instruct | 0.4552 |
| Qwen2.5-14B-Instruct_mix | 0.4552 |
| Llama_3.1-8B-Instruct 0 shot no BIO v3 | 0.4515 |
