La tarea tiene como objetivo encontrar las mejores técnicas para identificar y categorizar tweets propagandísticos de fuentes gubernamentales y diplomáticas sobre un conjunto de datos de tuits en inglés, publicados por autoridades de China, Rusia, Estados Unidos y la Unión Europea. La tarea busca clasificar el tuit en cuatro grupos de técnicas propagandísticas: apelación a lo común, desacreditación del oponente, lenguaje cargado, apelación a la autoridad.
Publicación
Pablo Moral, Guillermo Marco, Julio Gonzalo, Jorge Carrillo-de-Albornoz, Iván Gonzalo-Verdugo (2023) Overview of DIPROMATS 2023: automatic detection and characterization of propaganda techniques in messages from diplomats and authorities of world powers. Procesamiento del Lenguaje Natural, Revista nº 71, septiembre de 2023, pp. 397-407.
Idioma
Inglés
NLP topic
Tarea abstracta
Dataset
Año
2023
Enlace publicación
Métrica Ranking
F1
Mejores resultados para la tarea
| Sistema | ICM Norm Ordenar ascendente |
|---|---|
| Mistral-7B-v03 | 0.5539 |
| Llama-3.1-8B | 0.5414 |
| Qwen2.5-7B | 0.5359 |
| Roberta large | 0.5204 |
| Xlm roberta large | 0.4867 |
| Roberta base | 0.4811 |
| Bert base cased | 0.4468 |
| Ixa ehu ixambert base cased | 0.4430 |
| Xlm roberta base | 0.4329 |
| Bert base multilingual cased | 0.4266 |
