La tarea consiste en detectar y etiquetar entidades semánticamente ambiguas y complejas en contextos breves y poco contextualizados. Las entidades complejas, como los títulos de obras creativas (nombres de películas/libros/canciones/software) no son sustantivos simples y son más difíciles de reconocer. Pueden adoptar la forma de cualquier constituyente lingüístico, como una cláusula imperativa ("Dial M for Murder"), y no se parecen a las entidades tradicionales (nombres de personas, lugares, organizaciones).
La tarea se realiza sobre el conjunto de datos MULTICONER (Malmasi et al., 2022). MULTICONER proporciona datos de tres dominios (frases de Wikipedia, preguntas y consultas de búsqueda) en 11 idiomas diferentes, que se utilizan para definir 11 subconjuntos monolingües. Además, el conjunto de datos tiene subconjuntos multilingües y de código mixto.
Se etiquetan las siguientes entidades: nombres de personas, ubicación o instalaciones físicas, corporaciones y empresas, todos los demás grupos, productos de consumo, y títulos de obras creativas, como títulos de películas, canciones y libros.
Mejores resultados para la tarea
| Sistema | Precisión | Recall | F1 Ordenar ascendente | CEM | Accuracy | MacroPrecision | MacroRecall | MacroF1 | RMSE | MicroPrecision | MicroRecall | MicroF1 | MAE | MAP | UAS | LAS | MLAS | BLEX | Pearson correlation | Spearman correlation | MeasureC | BERTScore | EMR | Exact Match | F0.5 | Hierarchical F | ICM | MeasureC | Propensity F | Reliability | Sensitivity | Sentiment Graph F1 | WAC | b2 | erde30 | sent | weighted f1 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Roberta large | 0.7012 | 0.7012 | 0.7012 | 0.7012 | 0.70 | ||||||||||||||||||||||||||||||||
| Xlm roberta large | 0.7007 | 0.7007 | 0.7007 | 0.7007 | 0.70 | ||||||||||||||||||||||||||||||||
| Roberta base | 0.6577 | 0.6577 | 0.6577 | 0.6577 | 0.66 | ||||||||||||||||||||||||||||||||
| Distilbert base uncased | 0.6563 | 0.6563 | 0.6563 | 0.6563 | 0.66 | ||||||||||||||||||||||||||||||||
| Bert base multilingual cased | 0.6252 | 0.6252 | 0.6252 | 0.6252 | 0.63 | ||||||||||||||||||||||||||||||||
| Xlm roberta base | 0.6080 | 0.6080 | 0.6080 | 0.6080 | 0.61 | ||||||||||||||||||||||||||||||||
| Ixa ehu ixambert base cased | 0.6075 | 0.6075 | 0.6075 | 0.6075 | 0.61 | ||||||||||||||||||||||||||||||||
| Bert base cased | 0.5993 | 0.5993 | 0.5993 | 0.5993 | 0.60 | ||||||||||||||||||||||||||||||||
| Distilbert base multilingual cased | 0.5693 | 0.5693 | 0.5693 | 0.5693 | 0.57 |
