Esta tarea pretende clasificar los tuits sexistas según la intención del autor, lo que permite comprender el papel que desempeñan las redes sociales en la emisión y difusión de mensajes sexistas. En esta tarea, se propone una clasificación ternaria: direct, reported, judgemental.
En esta tarea se contempla una evaluación soft-soft en la que se compara la probabilidad de cada etiqueta predicha por el sistema con la probabilidad definida a partir del desacuerdo en la anotación en el gold standard.
Publicación
Plaza, L. et al. (2023). Overview of EXIST 2023 – Learning with Disagreement for Sexism Identification and Characterization. In: Arampatzis, A., et al. Experimental IR Meets Multilinguality, Multimodality, and Interaction. CLEF 2023. Lecture Notes in Computer Science, vol 14163. Springer, Cham. https://doi.org/10.1007/978-3-031-42448-9_23
Competición
Idioma
Español
URL Tarea
NLP topic
Tarea abstracta
Año
2023
Enlace publicación
Métrica Ranking
ICM
Mejores resultados para la tarea
Sistema | F1 Ordenar ascendente | Accuracy | MacroF1 | Pearson correlation | ICM |
---|---|---|---|---|---|
Xlm roberta large | 0.4414 | 0.4414 | 0.4414 | 0.4414 | 0.44 |
XLM-RoBERTa-large-2 | 0.4384 | 0.4384 | 0.4384 | 0.4384 | 0.44 |
XLM-RoBERTa-large-v3 | 0.4384 | 0.4384 | 0.4384 | 0.4384 | 0.44 |
Xlm roberta base | 0.4245 | 0.4245 | 0.4245 | 0.4245 | 0.42 |
PlanTL GOB ES roberta large bne | 0.4237 | 0.4237 | 0.4237 | 0.4237 | 0.42 |
Dccuchile bert base spanish wwm cased | 0.4182 | 0.4182 | 0.4182 | 0.4182 | 0.42 |
PlanTL GOB ES roberta base bne | 0.4173 | 0.4173 | 0.4173 | 0.4173 | 0.42 |
CenIA distillbert base spanish uncased | 0.4160 | 0.4160 | 0.4160 | 0.4160 | 0.42 |
Bertin roberta base spanish | 0.4146 | 0.4146 | 0.4146 | 0.4146 | 0.41 |
Bert base multilingual cased | 0.3917 | 0.3917 | 0.3917 | 0.3917 | 0.39 |
Paginación
- Página 1
- Siguiente página