Se trata de una clasificación binaria que consiste en decidir si un tuit determinado contiene o no expresiones o comportamientos sexistas (es decir, es sexista en sí mismo, describe una situación sexista o critica un comportamiento sexista).
En esta tarea se contempla una evaluación soft-soft en la que se compara la probabilidad de cada etiqueta predicha por el sistema con la probabilidad definida a partir del desacuerdo en la anotación en el gold standard.
Publicación
Plaza, L. et al. (2023). Overview of EXIST 2023 – Learning with Disagreement for Sexism Identification and Characterization. In: Arampatzis, A., et al. Experimental IR Meets Multilinguality, Multimodality, and Interaction. CLEF 2023. Lecture Notes in Computer Science, vol 14163. Springer, Cham. https://doi.org/10.1007/978-3-031-42448-9_23
Competición
Idioma
Español
URL Tarea
NLP topic
Tarea abstracta
Año
2023
Enlace publicación
Métrica Ranking
ICM
Mejores resultados para la tarea
| Sistema | Precisión | Recall | F1 Ordenar ascendente | CEM | Accuracy | MacroPrecision | MacroRecall | MacroF1 | RMSE | MicroPrecision | MicroRecall | MicroF1 | MAE | MAP | UAS | LAS | MLAS | BLEX | Pearson correlation | Spearman correlation | MeasureC | BERTScore | EMR | Exact Match | F0.5 | Hierarchical F | ICM | MeasureC | Propensity F | Reliability | Sensitivity | Sentiment Graph F1 | WAC | b2 | erde30 | sent | weighted f1 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| PlanTL GOB ES roberta large bne | 0.6671 | 0.6671 | 0.6671 | 0.6671 | 0.67 | ||||||||||||||||||||||||||||||||
| Hermes-3-Llama-3.1-8B | 0.6611 | 0.6611 | 0.6611 | 0.6611 | 0.66 | ||||||||||||||||||||||||||||||||
| Hermes-3-Llama-3.1-8B_2 | 0.6611 | 0.6611 | 0.6611 | 0.6611 | 0.66 | ||||||||||||||||||||||||||||||||
| Xlm roberta large | 0.6564 | 0.6564 | 0.6564 | 0.6564 | 0.66 | ||||||||||||||||||||||||||||||||
| PlanTL GOB ES roberta base bne | 0.6531 | 0.6531 | 0.6531 | 0.6531 | 0.65 | ||||||||||||||||||||||||||||||||
| Bertin roberta base spanish | 0.6465 | 0.6465 | 0.6465 | 0.6465 | 0.65 | ||||||||||||||||||||||||||||||||
| Dccuchile bert base spanish wwm cased | 0.6326 | 0.6326 | 0.6326 | 0.6326 | 0.63 | ||||||||||||||||||||||||||||||||
| Gemma-2B-IT | 0.6257 | 0.6257 | 0.6257 | 0.6257 | 0.63 | ||||||||||||||||||||||||||||||||
| Xlm roberta base | 0.6236 | 0.6236 | 0.6236 | 0.6236 | 0.62 | ||||||||||||||||||||||||||||||||
| Bert base multilingual cased | 0.6136 | 0.6136 | 0.6136 | 0.6136 | 0.61 |
