Semantic Textual Similarity 2017

Evalúa el grado en que dos oraciones en español son semánticamente equivalentes entre sí. Las puntuaciones de similitud van desde 0 para ninguna superposición de significado hasta 5 para equivalencia de significado. Los valores intermedios reflejan niveles interpretables de superposición parcial en el significado.

Publicación
Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. 2017. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pages 1–14, Vancouver, Canada. Association for Computational Linguistics.
Competición
SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation
Idioma
Español
URL Tarea
https://alt.qcri.org/semeval2017/task1/
NLP topic
similitud textual
Tarea abstracta
Clasificación
Año
2017
Enlace publicación
https://aclanthology.org/S17-…
Métrica Ranking
Pearson correlation

Mejores resultados para la tarea

Sistema F1 Accuracy MacroF1 Pearson correlation ICM
Dccuchile bert base spanish wwm cased 0.8330 0.8330 0.8330 0.8330 0.83
Xlm roberta large 0.8287 0.8287 0.8287 0.8287 0.83
PlanTL GOB ES roberta large bne 0.8232 0.8232 0.8232 0.8232 0.82
Ixa ehu ixambert base cased 0.8120 0.8120 0.8120 0.8120 0.81
PlanTL GOB ES roberta base bne 0.8096 0.8096 0.8096 0.8096 0.81
CenIA distillbert base spanish uncased 0.7951 0.7951 0.7951 0.7951 0.80
Bert base multilingual cased 0.7920 0.7920 0.7920 0.7920 0.79
Xlm roberta base 0.7861 0.7861 0.7861 0.7861 0.79
Bertin roberta base spanish 0.7818 0.7818 0.7818 0.7818 0.78
Distilbert base multilingual cased 0.7781 0.7781 0.7781 0.7781 0.78