DIANN 2023: Disability detection

La tarea consiste en reconocer menciones de discapacidades en resúmenes de artículos  biomédicos en español. La tarea es una extensión y  sigue las pautas establecidas en la competición de IberLEF 2018 “Disability annotation on documents from the biomedical domain (DIANN)”.

Idioma
Español
NLP topic
reconocimiento de entidades nombradas
Tarea abstracta
Etiquetado de secuencias
Dataset
DIANN-2023-ES
Año
2023
Métrica Ranking
F1

Mejores resultados para la tarea

Sistema F1 Accuracy MacroF1 Pearson correlation ICM
Xlm roberta large 0.7855 0.7855 0.7855 0.7855 0.79
Xlm roberta base 0.7819 0.7819 0.7819 0.7819 0.78
Bert base multilingual cased 0.7592 0.7592 0.7592 0.7592 0.76
Ixa ehu ixambert base cased 0.7580 0.7580 0.6868 0.7580 0.76
Dccuchile bert base spanish wwm cased 0.7478 0.7478 0.7478 0.7478 0.75
PlanTL GOB ES roberta base bne 0.7169 0.7169 0.7169 0.7169 0.72
Hermes-3-Llama-3.1-8B 0.7056 0.7056 0.7056 0.7056 0.71
Hermes-3-Llama-3.1-8B_2 0.7042 0.7042 0.7042 0.7042 0.70
Bertin roberta base spanish 0.6877 0.6877 0.6877 0.6877 0.69
Distilbert base multilingual cased 0.6868 0.6868 0.6868 0.6868 0.69