La tarea consiste en determinar si una oración contiene al menos un estereotipo (ejemplo positivo) o ninguno (ejemplo negativo). Las oraciones se toman de comentarios publicados en español en respuesta a diferentes artículos de noticias en línea.
Se define un estereotipo como un conjunto de creencias sobre otros que se perciben como pertenecientes a una categoría social diferente.
Publicación
Alejandro Ariza-Casabona, Wolfgang S. Schmeisser-Nieto, Montserrat Nofre, Mariona Taulé, Enrique Amigó, Berta Chulvi, Paolo Rosso (2022) Overview of DETESTS at IberLEF 2022: DETEction and classification of racial STereotypes in Spanish. Procesamiento del Lenguaje Natural, Revista nº 69, septiembre de 2022, pp. 217-228
Idioma
Español
NLP topic
Tarea abstracta
Año
2022
Enlace publicación
Métrica Ranking
F1
Mejores resultados para la tarea
| Sistema | Precisión | Recall | F1 Ordenar ascendente | CEM | Accuracy | MacroPrecision | MacroRecall | MacroF1 | RMSE | MicroPrecision | MicroRecall | MicroF1 | MAE | MAP | UAS | LAS | MLAS | BLEX | Pearson correlation | Spearman correlation | MeasureC | BERTScore | EMR | Exact Match | F0.5 | Hierarchical F | ICM | MeasureC | Propensity F | Reliability | Sensitivity | Sentiment Graph F1 | WAC | b2 | erde30 | sent | weighted f1 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| I2C III | 1.0000 | ||||||||||||||||||||||||||||||||||||
| UMUTeam | 0.7042 | ||||||||||||||||||||||||||||||||||||
| Lak NLP | 0.6627 | ||||||||||||||||||||||||||||||||||||
| DaMinCi | 0.6596 | ||||||||||||||||||||||||||||||||||||
| MALNIS | 0.6382 |
