La tarea consiste en detectar y etiquetar entidades semánticamente ambiguas y complejas en contextos breves y poco contextualizados. Las entidades complejas, como los títulos de obras creativas (nombres de películas/libros/canciones/software) no son sustantivos simples y son más difíciles de reconocer. Pueden adoptar la forma de cualquier constituyente lingüístico, como una cláusula imperativa ("Dial M for Murder"), y no se parecen a las entidades tradicionales (nombres de personas, lugares, organizaciones).
La tarea se realiza sobre el conjunto de datos MultiCoNER (Malmasi et al., 2022). MultiCoNER proporciona datos de tres dominios (frases de Wikipedia, preguntas y consultas de búsqueda) en 11 idiomas diferentes, que se utilizan para definir 11 subconjuntos monolingües. Además, el conjunto de datos tiene subconjuntos multilingües y de código mixto.
Se etiquetan las siguientes entidades: nombres de personas, ubicación o instalaciones físicas, corporaciones y empresas, todos los demás grupos, productos de consumo, y títulos de obras creativas, como títulos de películas, canciones y libros.
Mejores resultados para la tarea
| Sistema | Precisión | Recall | F1 Ordenar ascendente | CEM | Accuracy | MacroPrecision | MacroRecall | MacroF1 | RMSE | MicroPrecision | MicroRecall | MicroF1 | MAE | MAP | UAS | LAS | MLAS | BLEX | Pearson correlation | Spearman correlation | MeasureC | BERTScore | EMR | Exact Match | F0.5 | Hierarchical F | ICM | MeasureC | Propensity F | Reliability | Sensitivity | Sentiment Graph F1 | WAC | b2 | erde30 | sent | weighted f1 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Xlm roberta large | 0.6801 | 0.6801 | 0.6801 | 0.6801 | 0.68 | ||||||||||||||||||||||||||||||||
| Xlm roberta base | 0.6201 | 0.6201 | 0.6201 | 0.6201 | 0.62 | ||||||||||||||||||||||||||||||||
| PlanTL GOB ES roberta large bne | 0.6069 | 0.6069 | 0.6069 | 0.6069 | 0.61 | ||||||||||||||||||||||||||||||||
| PlanTL GOB ES roberta base bne | 0.6041 | 0.6041 | 0.6041 | 0.6041 | 0.60 | ||||||||||||||||||||||||||||||||
| Bert base multilingual cased | 0.5992 | 0.5992 | 0.5992 | 0.5992 | 0.60 | ||||||||||||||||||||||||||||||||
| Ixa ehu ixambert base cased | 0.5926 | 0.5926 | 0.5926 | 0.5926 | 0.59 | ||||||||||||||||||||||||||||||||
| CenIA distillbert base spanish uncased | 0.5894 | 0.5894 | 0.5894 | 0.5894 | 0.59 | ||||||||||||||||||||||||||||||||
| Distilbert base multilingual cased | 0.5580 | 0.5580 | 0.5580 | 0.5580 | 0.56 | ||||||||||||||||||||||||||||||||
| Dccuchile bert base spanish wwm cased | 0.5472 | 0.5472 | 0.5472 | 0.5472 | 0.55 | ||||||||||||||||||||||||||||||||
| Bertin roberta base spanish | 0.5215 | 0.5215 | 0.5215 | 0.5215 | 0.52 |
