Evalúa el grado en que dos oraciones en inglés son semánticamente equivalentes entre sí. Las puntuaciones de similitud van desde 0 para ninguna superposición de significado hasta 5 para equivalencia de significado. Los valores intermedios reflejan niveles interpretables de superposición parcial en el significado.
Publicación
Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. 2017. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pages 1–14, Vancouver, Canada. Association for Computational Linguistics.
Idioma
Inglés
URL Tarea
NLP topic
Tarea abstracta
Año
2017
Enlace publicación
Métrica Ranking
Pearson correlation
Mejores resultados para la tarea
| Sistema | Pearson correlation Ordenar ascendente | ICM |
|---|---|---|
| Roberta large | 0.8656 | |
| Roberta base | 0.8572 | |
| Xlm roberta large | 0.8450 | |
| Bert base cased | 0.8434 | |
| Distilbert base uncased | 0.8360 | |
| Ixa ehu ixambert base cased | 0.8170 | 0.7872 |
| Bert base multilingual cased | 0.8112 | |
| Xlm roberta base | 0.8097 | |
| Distilbert base multilingual cased | 0.7872 | |
| Llama-3.1-8B | 0.7699 |
