Tarea de clasificación multiclase consistente en determinar si un tuit contiene expresiones o comportamientos sexistas (es decir, si es sexista en si mismo, describe una situación sexista o critica un comportamiento sexista) y, en caso afirmativo, categorizar el mensaje según el tipo de sexismo (según una categorización propuesta por expertos y que tiene en cuenta las diferentes facetas de la mujer que se ven afectadas): (i) ideológico e inequidad, (ii) estereotipos y dominación, (iii) objetificación, (iv) violencia sexual y (v) misoginia y violencia no sexual.
Publicación
Francisco Rodríguez-Sánchez, Jorge Carrillo-de-Albornoz, Laura Plaza, Adrián Mendieta-Aragón, Guillermo Marco-Remón, Maryna Makeienko, María Plaza, Julio Gonzalo, Damiano Spina, Paolo Rosso (2022) Overview of EXIST 2022: sEXism Identification in Social neTworks. Procesamiento del Lenguaje Natural, Revista nº 69, septiembre de 2022, pp. 229-240.
Idioma
Español
URL Tarea
NLP topic
Tarea abstracta
Dataset
Año
2022
Enlace publicación
Métrica Ranking
Macro F1
Mejores resultados para la tarea
| Sistema | F1 Ordenar ascendente | Accuracy | MacroF1 | Pearson correlation | ICM |
|---|---|---|---|---|---|
| Hermes-3-Llama-3.1-8B | 0.5736 | 0.5736 | 0.5736 | 0.5736 | 0.57 |
| Hermes-3-Llama-3.1-8B_2 | 0.5736 | 0.5736 | 0.5736 | 0.5736 | 0.57 |
| PlanTL GOB ES roberta large bne | 0.5668 | 0.5668 | 0.5668 | 0.5668 | 0.57 |
| Xlm roberta large | 0.5593 | 0.5593 | 0.5593 | 0.5593 | 0.56 |
| PlanTL GOB ES roberta base bne | 0.5554 | 0.5554 | 0.5554 | 0.5554 | 0.56 |
| XLM-RoBERTa-large-v3 | 0.5540 | 0.5540 | 0.5540 | 0.5540 | 0.55 |
| XLM-RoBERTa-large | 0.5540 | 0.5540 | 0.5540 | 0.5540 | 0.55 |
| XLM-RoBERTa-large-2 | 0.5540 | 0.5540 | 0.5540 | 0.5540 | 0.55 |
| Dccuchile bert base spanish wwm cased | 0.5370 | 0.5370 | 0.5370 | 0.5370 | 0.54 |
| Gemma-2B-IT | 0.5262 | 0.5262 | 0.5262 | 0.5262 | 0.53 |
