La tarea tiene como objetivo encontrar las mejores técnicas para identificar tuits propagandísticos de fuentes gubernamentales y diplomáticas en un conjunto de datos de 9501 tuits en español, publicados por autoridades de China, Rusia, Estados Unidos y la Unión Europea. Consiste en determinar si un tuit contiene técnicas propagandísticas o no.
Publicación
Pablo Moral, Guillermo Marco, Julio Gonzalo, Jorge Carrillo-de-Albornoz, Iván Gonzalo-Verdugo (2023) Overview of DIPROMATS 2023: Automatic detection and characterization of propaganda techniques in messages from diplomats and authorities of world powers. Procesamiento del Lenguaje Natural, Revista nº 71, septiembre de 2023, pp. 397-407.
Idioma
Español
NLP topic
Tarea abstracta
Dataset
Año
2023
Enlace publicación
Métrica Ranking
F1
Mejores resultados para la tarea
| Sistema | F1 Ordenar ascendente | Accuracy | MacroF1 | Pearson correlation | ICM |
|---|---|---|---|---|---|
| XLM-RoBERTa-large | 0.8224 | 0.8224 | 0.8224 | 0.8224 | 0.82 |
| XLM-RoBERTa-large-2 | 0.8224 | 0.8224 | 0.8224 | 0.8224 | 0.82 |
| XLM-RoBERTa-large-v3 | 0.8224 | 0.8224 | 0.8224 | 0.8224 | 0.82 |
| Hermes-3-Llama-3.1-8B_2 | 0.8211 | 0.8211 | 0.8211 | 0.8211 | 0.82 |
| Xlm roberta large | 0.8186 | 0.8186 | 0.8186 | 0.8186 | 0.82 |
| PlanTL GOB ES roberta large bne | 0.8177 | 0.8177 | 0.8177 | 0.8177 | 0.82 |
| Hermes-3-Llama-3.1-8B | 0.8168 | 0.8168 | 0.8168 | 0.8168 | 0.82 |
| PlanTL GOB ES roberta base bne | 0.8149 | 0.8149 | 0.8149 | 0.8149 | 0.81 |
| Gemma-2B-IT | 0.8109 | 0.8109 | 0.8109 | 0.8109 | 0.81 |
| Dccuchile bert base spanish wwm cased | 0.7916 | 0.7916 | 0.7916 | 0.7916 | 0.79 |
