DIPROMATS 2023: Coarse propaganda characterization

La tarea tiene como objetivo encontrar las mejores técnicas para identificar y categorizar tweets propagandísticos de fuentes gubernamentales y diplomáticas sobre un conjunto de datos de tuits en inglés, publicados por autoridades de China, Rusia, Estados Unidos y la Unión Europea.  La tarea busca clasificar el tuit en cuatro grupos de técnicas propagandísticas: apelación a lo común, desacreditación del oponente, lenguaje cargado, apelación a la autoridad.

 

Publicación
Pablo Moral, Guillermo Marco, Julio Gonzalo, Jorge Carrillo-de-Albornoz, Iván Gonzalo-Verdugo (2023) Overview of DIPROMATS 2023: automatic detection and characterization of propaganda techniques in messages from diplomats and authorities of world powers. Procesamiento del Lenguaje Natural, Revista nº 71, septiembre de 2023, pp. 397-407.
Idioma
Inglés
URL Tarea
https://sites.google.com/view/dipromats2023
NLP topic
clasificación de textos
Tarea abstracta
Clasificación
Dataset
DIPROMATS 2023
Año
2023
Enlace publicación
http://journal.sepln.org/sepl…
Métrica Ranking
F1

Mejores resultados para la tarea

Sistema Precisión Recall F1 CEM Accuracy MacroPrecision MacroRecall MacroF1 RMSE MicroPrecision MicroRecall MicroF1 MAE MAP UAS LAS MLAS BLEX Pearson correlation Spearman correlation MeasureC BERTScore EMR Exact Match F0.5 Hierarchical F ICM MeasureC Propensity F Reliability Sensitivity Sentiment Graph F1 WAC b2 erde30 sent weighted f1
Roberta large 0.5204 0.5204 0.5204 0.5204 0.52
Xlm roberta large 0.4867 0.4867 0.4867 0.4867 0.49
Roberta base 0.4811 0.4811 0.4811 0.4811 0.48
Bert base cased 0.4468 0.4468 0.4468 0.4468 0.45
Ixa ehu ixambert base cased 0.4430 0.4430 0.4430 0.4430 0.44
Xlm roberta base 0.4329 0.4329 0.4329 0.4329 0.43
Bert base multilingual cased 0.4266 0.4266 0.4266 0.4266 0.43
Distilbert base uncased 0.4054 0.4054 0.4054 0.4054 0.41
Distilbert base multilingual cased 0.3794 0.3794 0.3794 0.3794 0.38