La tarea tiene como objetivo encontrar las mejores técnicas para identificar y categorizar tuits propagandísticos de fuentes gubernamentales y diplomáticas sobre un conjunto de datos de 9501 tuits en español, publicados por autoridades de China, Rusia, Estados Unidos y la Unión Europea. La tarea consiste en clasificar los tuits propagandísticos en 15 técnicas propagandísticas.
Publicación
Pablo Moral, Guillermo Marco, Julio Gonzalo, Jorge Carrillo-de-Albornoz, Iván Gonzalo-Verdugo (2023) Overview of DIPROMATS 2023: automatic detection and characterization of propaganda techniques in messages from diplomats and authorities of world powers. Procesamiento del Lenguaje Natural, Revista nº 71, septiembre de 2023, pp. 397-407.
Idioma
Español
NLP topic
Tarea abstracta
Dataset
Año
2023
Enlace publicación
Métrica Ranking
F1
Mejores resultados para la tarea
Sistema | F1 Ordenar ascendente | Accuracy | MacroF1 | Pearson correlation | ICM |
---|---|---|---|---|---|
XLM-RoBERTa-large | 0.4581 | 0.4581 | 0.4581 | 0.4581 | 0.46 |
XLM-RoBERTa-large-2 | 0.4581 | 0.4581 | 0.4581 | 0.4581 | 0.46 |
XLM-RoBERTa-large-v3 | 0.4581 | 0.4581 | 0.4581 | 0.4581 | 0.46 |
Xlm roberta large | 0.4527 | 0.4527 | 0.4527 | 0.4527 | 0.45 |
PlanTL GOB ES roberta large bne | 0.3894 | 0.3894 | 0.3894 | 0.3894 | 0.39 |
PlanTL GOB ES roberta base bne | 0.2944 | 0.2944 | 0.2944 | 0.2944 | 0.29 |
Dccuchile bert base spanish wwm cased | 0.2931 | 0.2931 | 0.2931 | 0.2931 | 0.29 |
Xlm roberta base | 0.2668 | 0.2668 | 0.2668 | 0.2668 | 0.27 |
Bert base multilingual cased | 0.2562 | 0.2562 | 0.2562 | 0.2562 | 0.26 |
Bertin roberta base spanish | 0.2500 | 0.1782 | 0.2500 | 0.2500 | 0.25 |
Paginación
- Página 1
- Siguiente página