SQAC-SQUAD 2024: Question answering

Se trata de una tarea de comprensión de texto extractiva formulada en términos de pregunta-respuesta. La tarea consiste en responder a preguntas sobre un texto, de tal manera que la respuesta sea un fragmento extraído directamente del texto. Los textos son noticias del CSIC de diversos dominios científicos. En todos los casos, las respuestas son fragmentos del texto y no se incluyen preguntas que no se puedan contestar a partir del texto

Idioma
Español
NLP topic
sistemas de pregunta-respuesta
Tarea abstracta
Etiquetado de secuencias
Dataset
SQUAD-SQAC 2024 ES
Año
2024
Métrica Ranking
F1

Mejores resultados para la tarea

Sistema Precisión Recall F1 CEM Accuracy MacroPrecision MacroRecall MacroF1 RMSE MicroPrecision MicroRecall MicroF1 MAE MAP UAS LAS MLAS BLEX Pearson correlation Spearman correlation MeasureC BERTScore EMR Exact Match F0.5 Hierarchical F ICM MeasureC Propensity F Reliability Sensitivity Sentiment Graph F1 WAC b2 erde30 sent weighted f1
Hermes-3-Llama-3.1-8B_2 0.6791 0.6791 0.6791 0.6791 0.68
Hermes-3-Llama-3.1-8B 0.6791 0.6791 0.6791 0.6791 0.68
Gemma-2B-IT 0.4738 0.4738 0.4738 0.4738 0.47
PlanTL GOB ES roberta large bne 0.4640 0.4640 0.4640 0.4640 0.46
Xlm roberta large 0.4589 0.4589 0.4589 0.4589 0.46
Bertin roberta base spanish 0.4172 0.4172 0.4172 0.4172 0.42
Dccuchile bert base spanish wwm cased 0.4118 0.4118 0.4118 0.4118 0.41
PlanTL GOB ES roberta base bne 0.4061 0.4061 0.4061 0.4061 0.41
XLM-RoBERTa-large-v3 0.4000 0.4000 0.4000 0.4000 0.40
Xlm roberta base 0.3691 0.3691 0.3691 0.3691 0.37