EXIST-2023: Source Intention (soft-soft)

Esta tarea pretende clasificar los tuits sexistas según la intención del autor, lo que permite comprender el papel que desempeñan las redes sociales en la emisión y difusión de mensajes sexistas. En esta tarea, se propone una clasificación ternaria: direct, reported, judgemental.

En esta tarea se contempla una evaluación soft-soft en la que se compara la probabilidad de cada etiqueta predicha por el sistema con la probabilidad definida a partir del desacuerdo en la anotación en el gold standard.
 

Publicación
Plaza, L. et al. (2023). Overview of EXIST 2023 – Learning with Disagreement for Sexism Identification and Characterization. In: Arampatzis, A., et al. Experimental IR Meets Multilinguality, Multimodality, and Interaction. CLEF 2023. Lecture Notes in Computer Science, vol 14163. Springer, Cham. https://doi.org/10.1007/978-3-031-42448-9_23
Competición
EXIST: sEXism Identification in Social neTworks
Idioma
Español
URL Tarea
http://nlp.uned.es/exist2023/
NLP topic
detección de odio
Tarea abstracta
Clasificación
Año
2023
Enlace publicación
https://link.springer.com/cha…
Métrica Ranking
ICM

Mejores resultados para la tarea

Sistema F1 Accuracy MacroF1 Pearson correlation ICM
Xlm roberta large 0.4414 0.4414 0.4414 0.4414 0.44
XLM-RoBERTa-large-2 0.4384 0.4384 0.4384 0.4384 0.44
XLM-RoBERTa-large-v3 0.4384 0.4384 0.4384 0.4384 0.44
Hermes-3-Llama-3.1-8B_2 0.4378 0.4378 0.4378 0.4378 0.44
Hermes-3-Llama-3.1-8B 0.4364 0.4364 0.4364 0.4364 0.44
Xlm roberta base 0.4245 0.4245 0.4245 0.4245 0.42
PlanTL GOB ES roberta large bne 0.4237 0.4237 0.4237 0.4237 0.42
Dccuchile bert base spanish wwm cased 0.4182 0.4182 0.4182 0.4182 0.42
PlanTL GOB ES roberta base bne 0.4173 0.4173 0.4173 0.4173 0.42
CenIA distillbert base spanish uncased 0.4160 0.4160 0.4160 0.4160 0.42