Problema de clasificación binaria, consistente en determinar si un texto o mensaje es sexista o no. Se incluye cualquier tipo de expresión sexista o fenómenos relacionados, como aseveraciones descriptivas o reportadas donde el mensaje sexista es un reporte o una descripción de un evento sexista. En concreto, se asignan dos etiquetas:
- Sexista: el tuit o gab expresa comportamientos o discursos sexistas.
- No sexista: el tuit o gab no expresa ningún comportamiento o discurso sexista.
Publicación
Francisco Rodríguez-Sánchez, Jorge Carrillo-de-Albornoz, Laura Plaza, Adrián Mendieta-Aragón, Guillermo Marco-Remón, Maryna Makeienko, María Plaza, Julio Gonzalo, Damiano Spina, Paolo Rosso (2022) Overview of EXIST 2022: sEXism Identification in Social neTworks. Procesamiento del Lenguaje Natural, Revista nº 69, septiembre de 2022, pp. 229-240.
Idioma
Español
URL Tarea
NLP topic
Tarea abstracta
Dataset
Año
2022
Enlace publicación
Métrica Ranking
Accuracy
Mejores resultados para la tarea
| Sistema | F1 Ordenar ascendente | Accuracy | MacroF1 | Pearson correlation | ICM |
|---|---|---|---|---|---|
| Hermes-3-Llama-3.1-8B | 0.8065 | 0.8065 | 0.8065 | 0.8065 | 0.81 |
| Hermes-3-Llama-3.1-8B_2 | 0.8065 | 0.8065 | 0.8065 | 0.8065 | 0.81 |
| Xlm roberta large | 0.7663 | 0.7663 | 0.7663 | 0.7663 | 0.77 |
| Gemma-2B-IT | 0.7548 | 0.7548 | 0.7548 | 0.7548 | 0.75 |
| XLM-RoBERTa-large-2 | 0.7452 | 0.7452 | 0.7452 | 0.7452 | 0.75 |
| XLM-RoBERTa-large-v3 | 0.7452 | 0.7452 | 0.7452 | 0.7452 | 0.75 |
| XLM-RoBERTa-large | 0.7452 | 0.7452 | 0.7452 | 0.7452 | 0.75 |
| Xlm roberta base | 0.7395 | 0.7395 | 0.7395 | 0.7395 | 0.74 |
| PlanTL GOB ES roberta base bne | 0.7356 | 0.7356 | 0.7356 | 0.7356 | 0.74 |
| Bertin roberta base spanish | 0.7280 | 0.7280 | 0.7280 | 0.7280 | 0.73 |
