Dado un texto, una pregunta sobre ese texto y un conjunto de respuestas candidatas, un sistema debe seleccionar la respuesta correcta de un conjunto de 2 a 7 respuestas candidatas. Además, cada instancia de pregunta-respuesta incluye una breve explicación como soporte de razonamiento para elegir una respuesta candidata.
Publicación
Marco Antonio Sobrevilla Cabezudo, Diego Diestra, Rodrigo López, Erasmo Gómez, Arturo Oncevay, Fernando Alva-Manchego (2022) Overview of ReCoRES at IberLEF 2022: Reading Comprehension and Reasoning Explanation for Spanish. Procesamiento del Lenguaje Natural, Revista nº 69, septiembre de 2022, pp. 281-287.
Idioma
Español
NLP topic
Tarea abstracta
Año
2022
Enlace publicación
Métrica Ranking
Accuracy
Mejores resultados para la tarea
| Sistema | Precisión | Recall | F1 | CEM | Accuracy Ordenar ascendente | MacroPrecision | MacroRecall | MacroF1 | RMSE | MicroPrecision | MicroRecall | MicroF1 | MAE | MAP | UAS | LAS | MLAS | BLEX | Pearson correlation | Spearman correlation | MeasureC | BERTScore | EMR | Exact Match | F0.5 | Hierarchical F | ICM | MeasureC | Propensity F | Reliability | Sensitivity | Sentiment Graph F1 | WAC | b2 | erde30 | sent | weighted f1 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| MRCPUCP | 0.7591 | ||||||||||||||||||||||||||||||||||||
| SADDA | 0.7254 | ||||||||||||||||||||||||||||||||||||
| Versae & Nandezgarcia | 0.4067 |
