EXIST es una serie de eventos científicos y tareas compartidas sobre identificación del sexismo en las redes sociales. EXIST pretende capturar el sexismo en un sentido amplio, desde la misoginia explícita hasta otras expresiones sutiles que implican comportamientos sexistas implícitos.
En esta tarea se contempla una evaluación soft-soft en la que se compara la probabilidad de cada etiqueta predicha por el sistema con la probabilidad definida a partir del desacuerdo en la anotación en el gold standard.
Publicación
Plaza, L. et al. (2023). Overview of EXIST 2023 – Learning with Disagreement for Sexism Identification and Characterization. In: Arampatzis, A., et al. Experimental IR Meets Multilinguality, Multimodality, and Interaction. CLEF 2023. Lecture Notes in Computer Science, vol 14163. Springer, Cham. https://doi.org/10.1007/978-3-031-42448-9_23
Competición
Idioma
Inglés
URL Tarea
NLP topic
Tarea abstracta
Dataset
Año
2023
Enlace publicación
Métrica Ranking
ICM
Mejores resultados para la tarea
| Sistema | F1 Ordenar ascendente | Accuracy | MacroF1 | Pearson correlation | ICM |
|---|---|---|---|---|---|
| Xlm roberta large | 0.4029 | 0.4029 | 0.4029 | 0.4029 | 0.40 |
| Roberta large | 0.3962 | 0.3962 | 0.3962 | 0.3962 | 0.40 |
| Distilbert base uncased | 0.3844 | 0.3844 | 0.3844 | 0.3844 | 0.38 |
| Roberta base | 0.3779 | 0.3779 | 0.3779 | 0.3779 | 0.38 |
| Xlm roberta base | 0.3735 | 0.3735 | 0.3735 | 0.3735 | 0.37 |
| Bert base cased | 0.3701 | 0.3701 | 0.3701 | 0.3701 | 0.37 |
| Ixa ehu ixambert base cased | 0.3622 | 0.3622 | 0.3622 | 0.3622 | 0.36 |
| Bert base multilingual cased | 0.3618 | 0.3618 | 0.3618 | 0.3618 | 0.36 |
| Distilbert base multilingual cased | 0.3576 | 0.3576 | 0.3576 | 0.3576 | 0.36 |
