EXIST 2022: Sexism categorisation

Tarea de clasificación multiclase consistente en determinar si un tuit contiene expresiones o comportamientos sexistas (es decir, si es sexista en si mismo, describe una situación sexista o critica un comportamiento sexista) y, en caso afirmativo, categorizar el mensaje según el tipo de sexismo (según una categorización propuesta por expertos y que tiene en cuenta las diferentes facetas de la mujer que se ven afectadas): (i) ideológico e inequidad, (ii) estereotipos y dominación, (iii) objetificación, (iv) violencia sexual y (v) misoginia y violencia no sexual.

Publicación
Francisco Rodríguez-Sánchez, Jorge Carrillo-de-Albornoz, Laura Plaza, Adrián Mendieta-Aragón, Guillermo Marco-Remón, Maryna Makeienko, María Plaza, Julio Gonzalo, Damiano Spina, Paolo Rosso (2022) Overview of EXIST 2022: sEXism Identification in Social neTworks. Procesamiento del Lenguaje Natural, Revista nº 69, septiembre de 2022, pp. 229-240.
Competición
EXIST 2022: sEXism Identification in Social neTworks
Idioma
Español
URL Tarea
http://nlp.uned.es/exist2022/
NLP topic
detección de odio
Tarea abstracta
Clasificación
Dataset
EXIST-2022-ES
Año
2022
Enlace publicación
http://journal.sepln.org/sepl…
Métrica Ranking
Macro F1

Mejores resultados para la tarea

Sistema Precisión Recall F1 CEM Accuracy MacroPrecision MacroRecall MacroF1 RMSE MicroPrecision MicroRecall MicroF1 MAE MAP UAS LAS MLAS BLEX Pearson correlation Spearman correlation MeasureC BERTScore EMR Exact Match F0.5 Hierarchical F ICM MeasureC Propensity F Reliability Sensitivity Sentiment Graph F1 WAC b2 erde30 sent weighted f1
Hermes-3-Llama-3.1-8B 0.5736 0.5736 0.5736 0.5736 0.57
Hermes-3-Llama-3.1-8B_2 0.5736 0.5736 0.5736 0.5736 0.57
PlanTL GOB ES roberta large bne 0.5668 0.5668 0.5668 0.5668 0.57
Xlm roberta large 0.5593 0.5593 0.5593 0.5593 0.56
PlanTL GOB ES roberta base bne 0.5554 0.5554 0.5554 0.5554 0.56
XLM-RoBERTa-large 0.5540 0.5540 0.5540 0.5540 0.55
XLM-RoBERTa-large-2 0.5540 0.5540 0.5540 0.5540 0.55
XLM-RoBERTa-large-v3 0.5540 0.5540 0.5540 0.5540 0.55
Dccuchile bert base spanish wwm cased 0.5370 0.5370 0.5370 0.5370 0.54
Gemma-2B-IT 0.5262 0.5262 0.5262 0.5262 0.53