Se trata de una clasificación binaria que consiste en decidir si un tuit determinado contiene o no expresiones o comportamientos sexistas (es decir, es sexista en sí mismo, describe una situación sexista o critica un comportamiento sexista).
En esta tarea se contempla una evaluación soft-soft en la que se compara la probabilidad de cada etiqueta predicha por el sistema con la probabilidad definida a partir del desacuerdo en la anotación en el gold standard.
Publicación
Plaza, L. et al. (2023). Overview of EXIST 2023 – Learning with Disagreement for Sexism Identification and Characterization. In: Arampatzis, A., et al. Experimental IR Meets Multilinguality, Multimodality, and Interaction. CLEF 2023. Lecture Notes in Computer Science, vol 14163. Springer, Cham. https://doi.org/10.1007/978-3-031-42448-9_23
Competición
Idioma
Español
URL Tarea
NLP topic
Tarea abstracta
Año
2023
Enlace publicación
Métrica Ranking
ICM
Mejores resultados para la tarea
| Sistema | ICM Soft Norm Ordenar ascendente |
|---|---|
| Llama_3.1-8B-Instruct 0 shot no BIO v2 | 0.7063 |
| Llama_3.1-8B-Instruct 0 shot no BIO v3 | 0.7029 |
| Llama_3.1-8B-Instruct 0 shot no BIO v4 | 0.7029 |
| Qwen2.5-14B-Instruct | 0.6774 |
| Qwen2.5-14B-Instruct_mix | 0.6774 |
| Llama3.1-8B-NoPrompt | 0.6774 |
| Llama-3.1-8B | 0.6740 |
| Llama_3.2-3B-Instruct 0 shot no BIO v2 | 0.6698 |
| xlm_roberta_cpt_en_es | 0.6693 |
| xlm_roberta_cpt_en_es v2 | 0.6693 |
