SQAC-SQUAD 2024: Question answering

Se trata de una tarea de comprensión de texto extractiva formulada en términos de pregunta-respuesta. La tarea consiste en responder a preguntas sobre un texto, de tal manera que la respuesta sea un fragmento extraído directamente del texto. Los textos son noticias de Cambridge University de diversos dominios científicos. En todos los casos, las respuestas son fragmentos del texto  y no se incluyen preguntas que no se puedan contestar a partir del texto

Idioma
Inglés
NLP topic
sistemas de pregunta-respuesta
Tarea abstracta
Etiquetado de secuencias
Dataset
SQUAD-SQAC 2024 EN
Año
2024
Métrica Ranking
F1

Mejores resultados para la tarea

Sistema F1 Accuracy MacroF1 Pearson correlation ICM
Roberta large 0.4626 0.4626 0.4626 0.4626 0.46
Xlm roberta large 0.4163 0.4163 0.4163 0.4163 0.42
Roberta base 0.3746 0.3746 0.3746 0.3746 0.37
Xlm roberta base 0.3251 0.3251 0.3251 0.3251 0.33
Ixa ehu ixambert base cased 0.3222 0.3222 0.3222 0.3222 0.32
Bert base cased 0.2996 0.2996 0.2996 0.2996 0.30
Bert base multilingual cased 0.2948 0.2948 0.2948 0.2948 0.29
Distilbert base uncased 0.2670 0.2670 0.2670 0.2670 0.27
Distilbert base multilingual cased 0.1994 0.1994 0.1994 0.1994 0.20