SQAC-SQUAD 2016: Question answering

Tarea de comprensión lectora sobre un conjunto de datos compuesto por más de 100.000 preguntas planteadas por crowdworkers sobre un conjunto de artículos de Wikipedia, en la que la respuesta a cada pregunta es un segmento de texto del pasaje de lectura correspondiente. Los sistemas deben seleccionar la respuesta de entre todos los segmentos posibles del pasaje, por lo que necesitan hacer frente a un número bastante elevado de candidatos.

Publicación
Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. 2016. SQuAD: 100,000+ Questions for Machine Comprehension of Text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 2383–2392, Austin, Texas. Association for Computational Linguistics.
Idioma
Inglés
URL Tarea
https://aclanthology.org/D16-1264/
NLP topic
sistemas de pregunta-respuesta
Tarea abstracta
Etiquetado de secuencias
Dataset
SQuAD 1.1
Año
2016
Enlace publicación
https://aclanthology.org/D16-…
Métrica Ranking
F1

Mejores resultados para la tarea

Sistema Precisión Recall F1 CEM Accuracy MacroPrecision MacroRecall MacroF1 RMSE MicroPrecision MicroRecall MicroF1 MAE MAP UAS LAS MLAS BLEX Pearson correlation Spearman correlation MeasureC BERTScore EMR Exact Match F0.5 Hierarchical F ICM MeasureC Propensity F Reliability Sensitivity Sentiment Graph F1 WAC b2 erde30 sent weighted f1
Roberta large 0.8724 0.8724 0.8724 0.8724 0.87
Xlm roberta large 0.8581 0.8581 0.8581 0.8581 0.86
Roberta base 0.8427 0.8427 0.8427 0.8427 0.84
Ixa ehu ixambert base cased 0.8187 0.8187 0.8187 0.8187 0.82
Bert base multilingual cased 0.8059 0.8059 0.8059 0.8059 0.81
Xlm roberta base 0.7998 0.7998 0.7998 0.7998 0.80
Bert base cased 0.7968 0.7968 0.7968 0.7968 0.80
Distilbert base uncased 0.7602 0.7602 0.7602 0.7602 0.76
Distilbert base multilingual cased 0.7467 0.7467 0.7467 0.7467 0.75