Hermes-3-Llama-3.1-8B_2 - EXIST_2023_T1

ICM Norm
0.66
ICM Soft
0.66
system_description
Todas las tareas han sido convertidas a formato text-to-text. El prompt consiste en una descripción de la tarea y de 3 a 20 few-shot examples extraidos del train dependiendo de la tarea. El output de todas las tareas se ha convertido a formato JSON y se reprensenta mediante un objeto Pydantic. Usando la librería outlines forzamos al modelo a generar objetos JSON que complen la especificación Pydantic. El modelo ha sido finetuneado en formato multi-task (con todas las tareas al mismo tiempo).

Segunda iteración con hiperparametros optimizados.
Leaderboard Version
3
lang
es
metric
ICMSoftNorm
error
No errors.
Sistema
Hermes-3-Llama-3.1-8B_2
Partición resultados
All
F1
0.66
Accuracy
0.66
MacroF1
0.66
Pearson correlation
0.66
ICM
0.66