Semantic Textual Similarity 2017

Evalúa el grado en que dos oraciones en inglés son semánticamente equivalentes entre sí. Las puntuaciones de similitud van desde 0 para ninguna superposición de significado hasta 5 para equivalencia de significado. Los valores intermedios reflejan niveles interpretables de superposición parcial en el significado.

Publicación
Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. 2017. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pages 1–14, Vancouver, Canada. Association for Computational Linguistics.
Competición
SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation
Idioma
Inglés
URL Tarea
https://alt.qcri.org/semeval2017/task1/
NLP topic
similitud textual
Tarea abstracta
Correlación
Año
2017
Enlace publicación
https://aclanthology.org/S17-…
Métrica Ranking
Pearson correlation

Mejores resultados para la tarea

Sistema Precisión Recall F1 CEM Accuracy MacroPrecision MacroRecall MacroF1 RMSE MicroPrecision MicroRecall MicroF1 MAE MAP UAS LAS MLAS BLEX Pearson correlation Spearman correlation MeasureC BERTScore EMR Exact Match F0.5 Hierarchical F ICM MeasureC Propensity F Reliability Sensitivity Sentiment Graph F1 WAC b2 erde30 sent weighted f1
Roberta large 0.8656 0.8656 0.8656 0.8656 0.87
Roberta base 0.8572 0.8572 0.8572 0.8572 0.86
Xlm roberta large 0.8450 0.8450 0.8450 0.8450 0.84
Bert base cased 0.8434 0.8434 0.8434 0.8434 0.84
Distilbert base uncased 0.8360 0.8360 0.8360 0.8360 0.84
Ixa ehu ixambert base cased 0.8170 0.8170 0.8170 0.8170 0.79
Bert base multilingual cased 0.8112 0.8112 0.8112 0.8112 0.81
Xlm roberta base 0.8097 0.8097 0.8097 0.8097 0.81
Distilbert base multilingual cased 0.7872 0.7872 0.7872 0.7872 0.79