Tarea extractiva de respuesta a preguntas. Dada una pregunta y un párrafo asociado, los sistemas deben localizar el fragmento de texto más corto que contenga la respuesta. No hay preguntas sin respuesta. El conjunto de datos contiene textos extraídos de la Wikipedia en español, artículos enciclopédicos, artículos de Wikinews y noticias.
Publicación
Asier Gutiérrez Fandiño, Jordi Armengol-Estapé, Marc Pàmies, Joan Llop-Palao,Joaquín Silveira-Ocampo,Casimiro Pio Carrino, Carme Armentano-Oller, Carlos Rodriguez-Penagos, Aitor Gonzalez-Agirre, Marta Villegas (2022) Procesamiento del Lenguaje Natural, Revista nº 68, marzo de 2022, pp. 39-60.
Idioma
Español
NLP topic
Tarea abstracta
Dataset
Año
2022
Enlace publicación
Métrica Ranking
F1
Mejores resultados para la tarea
| Sistema | F1 Ordenar ascendente | Accuracy | MacroF1 | Pearson correlation | ICM |
|---|---|---|---|---|---|
| Xlm roberta large | 0.7895 | 0.7895 | 0.7895 | 0.7895 | 0.79 |
| PlanTL GOB ES roberta large bne | 0.7818 | 0.7818 | 0.7818 | 0.7818 | 0.78 |
| PlanTL GOB ES roberta base bne | 0.7584 | 0.7584 | 0.7584 | 0.7584 | 0.76 |
| Ixa ehu ixambert base cased | 0.7429 | 0.7429 | 0.7429 | 0.7429 | 0.74 |
| Bertin roberta base spanish | 0.7298 | 0.7298 | 0.7298 | 0.7298 | 0.73 |
| Dccuchile bert base spanish wwm cased | 0.7276 | 0.7276 | 0.7276 | 0.7276 | 0.73 |
| Xlm roberta base | 0.6988 | 0.6988 | 0.6988 | 0.6988 | 0.70 |
| Bert base multilingual cased | 0.6976 | 0.6976 | 0.6976 | 0.6976 | 0.70 |
| Distilbert base multilingual cased | 0.5566 | 0.5566 | 0.5566 | 0.5566 | 0.56 |
| distilbert-base-multilingual-cased | 0.5500 |
