Maloba

Assistant conversationnel

Llama 3.1 8B + QLoRA

Répondre, résumer, expliquer en lingala, sur cinq registres.

Poids fusionnésAdaptateursRapport d'entraînement F01

Résultat

ROUGE-L 0,2379 contre 0,1521 pour la base sur 964 exemples de test. Source : E01. Voir la page Résultats.

Mesures automatiques (E01)
MesureValeur
ROUGE-L0,2379
ROUGE-L, modèle de base0,1521

Les mesures, en graphique

Modèle de base contre modèle affinéROUGE-L mesure le recouvrement avec la réponse attendue. Le gain est net, mais aucune référence externe n'existe pour le lingala sur cette tâche.
ROUGE-L0,15210,2379+0,0858 · p —Modèle de baseModèle affiné Maloba

Source : E01, 964 exemples de test

Voir les données du graphique
MesureBaseAffinéÉcart
ROUGE-L0,15210,2379+0,0858

Ce qu'il fait bien, ce qu'il fait mal

Ce qu'il fait bien

  • ROUGE-L 0,2379 contre 0,1521 pour le modèle de base : +56 %.
  • Cinq registres appris : traduction, formel, urbain, pédagogique, résumé.
  • Modèle fusionné et adaptateurs publiés.

Ce qu'il fait mal

  • Un assistant en langue peu dotée reste fragile : vérifier ses réponses avant usage.
  • Le corpus d'entraînement a une validité humaine stricte de 58 % (accord faible).
  • Licence Llama 3.1 Community License : usage sous ses conditions.

Comment il a été construit

Socle meta-llama/Llama-3.1-8B-Instruct, adapté par qLoRA, LoRA rang 16. Données : 5 700 exemples Alpaca, 5 registres. Détail dans le rapport F01.

Licence

Llama 3.1 Community License : sous conditions de la licence. Un modèle garde la licence de son modèle de base, quelle que soit celle des données d'entraînement. Gouvernance des données.