Se trata de una tarea de comprensión de texto extractiva formulada en términos de pregunta-respuesta. La tarea consiste en responder a preguntas sobre un texto, de tal manera que la respuesta sea un fragmento extraído directamente del texto. Los textos son noticias del CSIC de diversos dominios científicos. En todos los casos, las respuestas son fragmentos del texto y no se incluyen preguntas que no se puedan contestar a partir del texto
Idioma
Español
NLP topic
Tarea abstracta
Dataset
Año
2024
Métrica Ranking
F1
Mejores resultados para la tarea
Sistema | F1 Ordenar ascendente |
---|---|
Qwen2.5-14B-Instruct | 0.7265 |
Qwen2.5-14B-Instruct_mix | 0.7265 |
Hermes-3-Llama-3.1-8B_2 | 0.6791 |
Hermes-3-Llama-3.1-8B_mix_5 | 0.6791 |
Hermes-3-Llama-3.1-8B_mix_6 | 0.6791 |
Hermes-3-Llama-3.1-8B | 0.6791 |
Hermes-3-Llama-3.1-8B_mix_4 | 0.6791 |
Llama_3.1-8B-Instruct 0 shot no BIO v2 | 0.6565 |
Llama_3.1-8B-Instruct 0 shot no BIO v3 | 0.6554 |
Llama_3.1-8B-Instruct 0 shot no BIO v4 | 0.6554 |
Paginación
- Página 1
- Siguiente página