EXIST 2022: Sexism categorisation

Tarea de clasificación multiclase consistente en determinar si un tuit contiene expresiones o comportamientos sexistas (es decir, si es sexista en si mismo, describe una situación sexista o critica un comportamiento sexista) y, en caso afirmativo, categorizar el mensaje según el tipo de sexismo (según una categorización propuesta por expertos y que tiene en cuenta las diferentes facetas de la mujer que se ven afectadas): (i) ideológico e inequidad, (ii) estereotipos y dominación, (iii) objetificación, (iv) violencia sexual y (v) misoginia y violencia no sexual.

Publicación
Francisco Rodríguez-Sánchez, Jorge Carrillo-de-Albornoz, Laura Plaza, Adrián Mendieta-Aragón, Guillermo Marco-Remón, Maryna Makeienko, María Plaza, Julio Gonzalo, Damiano Spina, Paolo Rosso (2022) Overview of EXIST 2022: sEXism Identification in Social neTworks. Procesamiento del Lenguaje Natural, Revista nº 69, septiembre de 2022, pp. 229-240.
Competición
EXIST 2022: sEXism Identification in Social neTworks
Idioma
Español
URL Tarea
http://nlp.uned.es/exist2022/
NLP topic
detección de odio
Tarea abstracta
Clasificación
Dataset
EXIST-2022-ES
Año
2022
Enlace publicación
http://journal.sepln.org/sepl…
Métrica Ranking
Macro F1

Mejores resultados para la tarea

Sistema F1 Accuracy MacroF1 Pearson correlation ICM
PlanTL GOB ES roberta large bne 0.5668 0.5668 0.5668 0.5668 0.57
Xlm roberta large 0.5593 0.5593 0.5593 0.5593 0.56
PlanTL GOB ES roberta base bne 0.5554 0.5554 0.5554 0.5554 0.56
XLM-RoBERTa-large 0.5540 0.5540 0.5540 0.5540 0.55
XLM-RoBERTa-large-2 0.5540 0.5540 0.5540 0.5540 0.55
XLM-RoBERTa-large-v3 0.5540 0.5540 0.5540 0.5540 0.55
Dccuchile bert base spanish wwm cased 0.5370 0.5370 0.5370 0.5370 0.54
CenIA distillbert base spanish uncased 0.5118 0.5118 0.5118 0.5118 0.51
Xlm roberta base 0.4997 0.4997 0.4997 0.4997 0.50
Bertin roberta base spanish 0.4941 0.4941 0.4941 0.4941 0.49