Evalúa el grado en que dos oraciones en español son semánticamente equivalentes entre sí. Las puntuaciones de similitud van desde 0 para ninguna superposición de significado hasta 5 para equivalencia de significado. Los valores intermedios reflejan niveles interpretables de superposición parcial en el significado.
Publicación
Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. 2017. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pages 1–14, Vancouver, Canada. Association for Computational Linguistics.
Idioma
Español
URL Tarea
NLP topic
Tarea abstracta
Año
2017
Enlace publicación
Métrica Ranking
Pearson correlation
Mejores resultados para la tarea
| Sistema | Precisión | Recall | F1 | CEM | Accuracy | MacroPrecision | MacroRecall | MacroF1 | RMSE | MicroPrecision | MicroRecall | MicroF1 | MAE | MAP | UAS | LAS | MLAS | BLEX | Pearson correlation Ordenar ascendente | Spearman correlation | MeasureC | BERTScore | EMR | Exact Match | F0.5 | Hierarchical F | ICM | MeasureC | Propensity F | Reliability | Sensitivity | Sentiment Graph F1 | WAC | b2 | erde30 | sent | weighted f1 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ECNU | 0.8559 | ||||||||||||||||||||||||||||||||||||
| BIT | 0.8499 | ||||||||||||||||||||||||||||||||||||
| FCICU | 0.8489 | ||||||||||||||||||||||||||||||||||||
| FCICU | 0.8484 | ||||||||||||||||||||||||||||||||||||
| ECNU | 0.8456 | ||||||||||||||||||||||||||||||||||||
| Dccuchile bert base spanish wwm cased | 0.8330 | 0.8330 | 0.8330 | 0.8330 | 0.83 | ||||||||||||||||||||||||||||||||
| Xlm roberta large | 0.8287 | 0.8287 | 0.8287 | 0.8287 | 0.83 | ||||||||||||||||||||||||||||||||
| PlanTL GOB ES roberta large bne | 0.8232 | 0.8232 | 0.8232 | 0.8232 | 0.82 | ||||||||||||||||||||||||||||||||
| Ixa ehu ixambert base cased | 0.8120 | 0.8120 | 0.8120 | 0.8120 | 0.81 | ||||||||||||||||||||||||||||||||
| PlanTL GOB ES roberta base bne | 0.8096 | 0.8096 | 0.8096 | 0.8096 | 0.81 |
