La tarea tiene como objetivo encontrar las mejores técnicas para identificar tuits propagandísticos de fuentes gubernamentales y diplomáticas en un conjunto de datos de tuits en inglés, publicados por autoridades de China, Rusia, Estados Unidos y la Unión Europea. Consiste en determinar si un tuit contiene técnicas propagandísticas o no.
Publicación
Pablo Moral, Guillermo Marco, Julio Gonzalo, Jorge Carrillo-de-Albornoz, Iván Gonzalo-Verdugo (2023) Overview of DIPROMATS 2023: automatic detection and characterization of propaganda techniques in messages from diplomats and authorities of world powers. Procesamiento del Lenguaje Natural, Revista nº 71, septiembre de 2023, pp. 397-407.
Idioma
Inglés
NLP topic
Tarea abstracta
Dataset
Año
2023
Enlace publicación
Métrica Ranking
F1
Mejores resultados para la tarea
| Sistema | F1 Ordenar ascendente | Accuracy | MacroF1 | Pearson correlation | ICM |
|---|---|---|---|---|---|
| Roberta large | 0.7984 | 0.7984 | 0.7984 | 0.7984 | 0.80 |
| Xlm roberta large | 0.7931 | 0.7931 | 0.7931 | 0.7931 | 0.79 |
| Roberta base | 0.7799 | 0.7799 | 0.7799 | 0.7799 | 0.78 |
| Ixa ehu ixambert base cased | 0.7796 | 0.7796 | 0.7796 | 0.7796 | 0.78 |
| Xlm roberta base | 0.7791 | 0.7791 | 0.7791 | 0.7791 | 0.78 |
| Bert base cased | 0.7763 | 0.7763 | 0.7763 | 0.7763 | 0.78 |
| Bert base multilingual cased | 0.7709 | 0.7709 | 0.7709 | 0.7709 | 0.77 |
| Distilbert base uncased | 0.7687 | 0.7687 | 0.7687 | 0.7687 | 0.77 |
| Distilbert base multilingual cased | 0.7471 | 0.7471 | 0.7471 | 0.7471 | 0.75 |
