Esta tarea se centra en la detección de disabilidades negadas en resúmenes de artículos biomédicos en inglés. Consiste en detectar negaciones y su alcance, cuando éstas afectan a una discapacidad. Para que una predicción sea correcta tanto la negación como la discapacidad tienen que estar correctamente detectadas.
Publicación
Hermenegildo Fabregat, Juan Martínez-Romo, Lourdes Araujo (2018) Overview of the DIANN Task: Disability Annotation Task. Proceedings of the Third Workshop on Evaluation of Human Language Technologies for Iberian Languages (IberEval 2018).
Idioma
Inglés
URL Tarea
NLP topic
Tarea abstracta
Año
2018
Enlace publicación
Métrica Ranking
Macro F1
Mejores resultados para la tarea
| Sistema | MacroF1 |
|---|---|
| ixambert-base-cased | 0.7690 |
| bert-base-cased | 0.6670 |
| distilbert-base-uncased | 0.7830 |
| roberta-large | 0.8480 |
| roberta-base | 0.8750 |
| distilbert-base-multilingual-cased | 0.7620 |
| xlm-roberta-large | 0.9170 |
| xlm-roberta-base | 0.7690 |
| bert-base-multilingual-cased | 0.6670 |
