EXIST-2023: Sexism categorization (soft-soft)

Muchas facetas de la vida de una mujer pueden ser objeto de actitudes sexistas, como las funciones domésticas y parentales, las oportunidades profesionales, la imagen sexual y las expectativas vitales, por citar algunas. Detectar automáticamente cuáles de estas facetas de la mujer son atacadas con más frecuencia en las redes sociales facilitará el desarrollo de políticas de lucha contra el sexismo. En esta tarea, cada tuit sexista debe clasificarse en una o varias de las siguientes categorías: IDEOLOGICAL AND INEQUALITY, STEREOTYPING AND DOMINANCE, OBJECTIFICATION, SEXUAL VIOLENCE, MISOGYNY AND NON-SEXUAL VIOLENCE.En esta tarea se contempla una evaluación soft-soft en la que se compara la probabilidad de cada etiqueta predicha por el sistema con la probabilidad definida a partir del desacuerdo en la anotación en el gold standard.

Publicación
Plaza, L. et al. (2023). Overview of EXIST 2023 – Learning with Disagreement for Sexism Identification and Characterization. In: Arampatzis, A., et al. Experimental IR Meets Multilinguality, Multimodality, and Interaction. CLEF 2023. Lecture Notes in Computer Science, vol 14163. Springer, Cham. https://doi.org/10.1007/978-3-031-42448-9_23
Competición
EXIST: sEXism Identification in Social neTworks
Idioma
Español
URL Tarea
http://nlp.uned.es/exist2023/
NLP topic
detección de odio
Tarea abstracta
Clasificación
Año
2023
Enlace publicación
https://link.springer.com/cha…
Métrica Ranking
ICM

Mejores resultados para la tarea

Sistema Precisión Recall F1 CEM Accuracy MacroPrecision MacroRecall MacroF1 RMSE MicroPrecision MicroRecall MicroF1 MAE MAP UAS LAS MLAS BLEX Pearson correlation Spearman correlation MeasureC BERTScore EMR Exact Match F0.5 Hierarchical F ICM MeasureC Propensity F Reliability Sensitivity Sentiment Graph F1 WAC b2 erde30 sent weighted f1
Xlm roberta large 0.3995 0.3995 0.3995 0.3995 0.40
PlanTL GOB ES roberta large bne 0.3798 0.3798 0.3798 0.3798 0.38
Dccuchile bert base spanish wwm cased 0.3738 0.3738 0.3738 0.3738 0.37
PlanTL GOB ES roberta base bne 0.3688 0.3688 0.3688 0.3688 0.37
XLM-RoBERTa-large-2 0.3609 0.3609 0.3609 0.3609 0.36
XLM-RoBERTa-large-v3 0.3609 0.3609 0.3609 0.3609 0.36
Ixa ehu ixambert base cased 0.3412 0.3412 0.3412 0.3412 0.34
Bertin roberta base spanish 0.3331 0.3331 0.3331 0.3331 0.33
Bert base multilingual cased 0.3326 0.3326 0.3326 0.3326 0.33
CenIA distillbert base spanish uncased 0.3324 0.3324 0.3324 0.3324 0.33