Se trata de una clasificación binaria que consiste en decidir si un tuit determinado contiene o no expresiones o comportamientos sexistas (es decir, es sexista en sí mismo, describe una situación sexista o critica un comportamiento sexista).
En esta tarea se contempla una evaluación soft-soft en la que se compara la probabilidad de cada etiqueta predicha por el sistema con la probabilidad definida a partir del desacuerdo en la anotación en el gold standard.
Publicación
Plaza, L. et al. (2023). Overview of EXIST 2023 – Learning with Disagreement for Sexism Identification and Characterization. In: Arampatzis, A., et al. Experimental IR Meets Multilinguality, Multimodality, and Interaction. CLEF 2023. Lecture Notes in Computer Science, vol 14163. Springer, Cham. https://doi.org/10.1007/978-3-031-42448-9_23
Competición
Idioma
Español
URL Tarea
NLP topic
Tarea abstracta
Año
2023
Enlace publicación
Métrica Ranking
ICM
Mejores resultados para la tarea
| Sistema | F1 Ordenar ascendente | Accuracy | MacroF1 | Pearson correlation | ICM |
|---|---|---|---|---|---|
| PlanTL GOB ES roberta large bne | 0.6671 | 0.6671 | 0.6671 | 0.6671 | 0.67 |
| Hermes-3-Llama-3.1-8B_2 | 0.6611 | 0.6611 | 0.6611 | 0.6611 | 0.66 |
| Hermes-3-Llama-3.1-8B | 0.6611 | 0.6611 | 0.6611 | 0.6611 | 0.66 |
| Xlm roberta large | 0.6564 | 0.6564 | 0.6564 | 0.6564 | 0.66 |
| PlanTL GOB ES roberta base bne | 0.6531 | 0.6531 | 0.6531 | 0.6531 | 0.65 |
| Bertin roberta base spanish | 0.6465 | 0.6465 | 0.6465 | 0.6465 | 0.65 |
| Dccuchile bert base spanish wwm cased | 0.6326 | 0.6326 | 0.6326 | 0.6326 | 0.63 |
| Gemma-2B-IT | 0.6257 | 0.6257 | 0.6257 | 0.6257 | 0.63 |
| Xlm roberta base | 0.6236 | 0.6236 | 0.6236 | 0.6236 | 0.62 |
| Bert base multilingual cased | 0.6136 | 0.6136 | 0.6136 | 0.6136 | 0.61 |
