La tarea consiste en determinar si una oración contiene al menos un estereotipo o ninguno, y asignar aquellas oraciones previamente marcadas como positivas (con estereotipos) a al menos una de las diez categorías que presentan a los inmigrantes como: 1) 'víctimas de la xenofobia', 2) 'víctimas que sufren', 3) 'recursos económicos', 4) un problema de 'control migratorio', 5) personas con 'diferencias culturales y religiosas', 6) personas que se aprovechan de 'beneficios' sociales, 7) un problema para la 'salud pública', 8) una amenaza a la 'seguridad', 9) 'deshumanización' y 10) otros tipos de estereotipos.
Es un problema de clasificación multietiqueta, ya que cada instancia puede ser asignada a una o más categorías.
Publicación
Alejandro Ariza-Casabona, Wolfgang S. Schmeisser-Nieto, Montserrat Nofre, Mariona Taulé, Enrique Amigó, Berta Chulvi, Paolo Rosso (2022) Overview of DETESTS at IberLEF 2022: DETEction and classification of racial STereotypes in Spanish. Procesamiento del Lenguaje Natural, Revista nº 69, septiembre de 2022, pp. 217-228
Idioma
Español
NLP topic
Tarea abstracta
Año
2022
Enlace publicación
Métrica Ranking
Hierarchical F
Mejores resultados para la tarea
| Sistema | Precisión | Recall | F1 | CEM | Accuracy | MacroPrecision | MacroRecall | MacroF1 | RMSE | MicroPrecision | MicroRecall | MicroF1 | MAE | MAP | UAS | LAS | MLAS | BLEX | Pearson correlation | Spearman correlation | MeasureC | BERTScore | EMR | Exact Match | F0.5 | Hierarchical F | ICM Ordenar ascendente | MeasureC | Propensity F | Reliability | Sensitivity | Sentiment Graph F1 | WAC | b2 | erde30 | sent | weighted f1 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| MALNIS | 0.88 | -0.24 | 0.87 | ||||||||||||||||||||||||||||||||||
| UMUTeam | 0.88 | -0.33 | 0.87 | ||||||||||||||||||||||||||||||||||
| Lak NLP | 0.86 | -0.42 | 0.85 |
