Tarea de comprensión lectora sobre un conjunto de datos compuesto por más de 100.000 preguntas planteadas por crowdworkers sobre un conjunto de artículos de Wikipedia, en la que la respuesta a cada pregunta es un segmento de texto del pasaje de lectura correspondiente. Los sistemas deben seleccionar la respuesta de entre todos los segmentos posibles del pasaje, por lo que necesitan hacer frente a un número bastante elevado de candidatos.
Publicación
Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. 2016. SQuAD: 100,000+ Questions for Machine Comprehension of Text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 2383–2392, Austin, Texas. Association for Computational Linguistics.
Idioma
Inglés
URL Tarea
NLP topic
Tarea abstracta
Dataset
Año
2016
Enlace publicación
Métrica Ranking
F1
Mejores resultados para la tarea
| Sistema | F1 |
|---|---|
| distilbert-base-multilingual-cased | 0.7500 |
| distilbert-base-uncased | 0.7660 |
| bert-base-cased | 0.7830 |
| ixambert-base-cased | 0.7980 |
| xlm-roberta-base | 0.8030 |
| bert-base-multilingual-cased | 0.8140 |
| roberta-base | 0.8470 |
| roberta-large | 0.8836 |
| xlm-roberta-large | 0.8600 |
