Maloba

Assistente conversacional

Llama 3.1 8B + QLoRA

Responder, resumir e explicar em lingala, em cinco registos.

Pesos fundidosAdaptadoresRelatório de treino F01

Resultado

ROUGE-L 0,2379 contre 0,1521 pour la base em 964 exemplos de teste. Source : E01. Voir la page Résultats.

Mesures automatiques (E01)
MesureValeur
ROUGE-L0,2379
ROUGE-L, modèle de base0,1521

As medições, em gráfico

Modelo de base contra modelo afinadoO ROUGE-L mede a sobreposição com a resposta esperada. O ganho é claro, mas não existe referência externa para o lingala nesta tarefa.
ROUGE-L0,15210,2379+0,0858 · p —Modèle de baseModèle affiné Maloba

Fonte : E01, 964 exemples de test

Ver os dados do gráfico
MedidaBaseAfinadoDiferença
ROUGE-L0,15210,2379+0,0858

O que faz bem, o que faz mal

O que faz bem

  • ROUGE-L 0,2379 contra 0,1521 do modelo de base: +56 %.
  • Cinco registos aprendidos: tradução, formal, urbano, pedagógico, resumo.
  • Modelo fundido e adaptadores publicados.

O que faz mal

  • Um assistente numa língua com poucos recursos continua frágil: verificar as respostas antes de usar.
  • O corpus de treino tem uma validade humana estrita de 58 % (acordo fraco).
  • Licença Llama 3.1 Community License: uso sujeito às suas condições.

Como foi construído

Socle meta-llama/Llama-3.1-8B-Instruct, adapté par qLoRA, LoRA rang 16. Données : 5 700 exemples Alpaca, 5 registres. Détail dans le rapport F01.

Licença

Llama 3.1 Community License : sujeito às condições da licença. Un modèle garde la licence de son modèle de base, quelle que soit celle des données d'entraînement. Gouvernance des données.