La tarea tiene como objetivo encontrar las mejores técnicas para identificar y categorizar tuits propagandísticos de fuentes gubernamentales y diplomáticas sobre un conjunto de datos de 9501 tuits en español, publicados por autoridades de China, Rusia, Estados Unidos y la Unión Europea. La tarea consiste en clasificar los tuits propagandísticos en 15 técnicas propagandísticas.
Publicación
Pablo Moral, Guillermo Marco, Julio Gonzalo, Jorge Carrillo-de-Albornoz, Iván Gonzalo-Verdugo (2023) Overview of DIPROMATS 2023: automatic detection and characterization of propaganda techniques in messages from diplomats and authorities of world powers. Procesamiento del Lenguaje Natural, Revista nº 71, septiembre de 2023, pp. 397-407.
Idioma
Español
NLP topic
Tarea abstracta
Dataset
Año
2023
Enlace publicación
Métrica Ranking
F1
Mejores resultados para la tarea
| Sistema | ICM Norm Ordenar ascendente |
|---|---|
| Qwen2.5-14B-Instruct_mix | 0.4931 |
| Qwen2.5-14B-Instruct | 0.4931 |
| Hermes-3-Llama-3.1-8B_2 | 0.4855 |
| Hermes-3-Llama-3.1-8B_mix_6 | 0.4845 |
| Hermes-3-Llama-3.1-8B_mix_2 | 0.4845 |
| Hermes-3-Llama-3.1-8B_mix_4 | 0.4845 |
| Hermes-3-Llama-3.1-8B_mix_5 | 0.4845 |
| xlm_roberta_cpt_en_es | 0.4837 |
| xlm_roberta_cpt_en_es v2 | 0.4837 |
| Hermes-3-Llama-3.1-8B | 0.4675 |
