Maloba

Traduction français → lingala

NLLB-Maloba-h1

Traduire une consigne, un document administratif, un message, du français vers le lingala.

ModèleRapport d'entraînement F04
Le modèle de traduction du projet. 288 paires traduites par des humains ont suffi à gagner 8,6 points de BLEU ; ajouter 4 700 paires fabriquées par machine n'a rien apporté. La leçon vaut pour toute la communauté : ce sont les traductions humaines qui font progresser le lingala.

Résultat

BLEU 32,00 contre 23,37 pour la base. Source : E01, E02. Voir la page Résultats.

Mesures automatiques (E01, E02)
MesureValeur
BLEU, test interne32,00
BLEU, modèle de base23,37
BLEU, FLORES+16,39
BLEU FLORES+, modèle de base15,49
Significativitép ≤ 0,001

Jugement humain (trois validateurs) : 66 % de sorties correctes à la majorité, 97 % correctes ou récupérables ; accord α 0,19 : indicatif.

Les mesures, en graphique

Modèle de base contre modèle affiné — Test interne — 79 phrasesJeu de test du projet, 79 phrases, jamais vues à l'entraînement.
BLEU23,3732,00+8,63 · p ≤ 0,001chrF54,3861,74+7,36 · p ≤ 0,001Modèle de baseModèle affiné Maloba

Source : E02, bootstrap apparié de 1 000 tirages

Voir les données du graphique
MesureBaseAffinéÉcartp
BLEU23,3732,00+8,63≤ 0,001
chrF54,3861,74+7,36≤ 0,001
Modèle de base contre modèle affiné — FLORES+ devtest — 1 012 phrasesFLORES+ est une référence externe de 1 012 phrases, indépendante du projet : le gain n'est pas un effet du jeu de test interne.
BLEU15,4916,39+0,90 · p ≤ 0,001chrF50,3152,09+1,78 · p ≤ 0,001Modèle de baseModèle affiné Maloba

Source : E02, bootstrap apparié de 1 000 tirages

Voir les données du graphique
MesureBaseAffinéÉcartp
BLEU15,4916,39+0,90≤ 0,001
chrF50,3152,09+1,78≤ 0,001
L'entraînement, époque par époqueh1 monte jusqu'à l'époque 4 puis redescend : c'est ce point qui a été retenu.
40506070chrFépoque12345h1 — 288 paires humaines

Source : F04, courbe de validation · données

Voir les données du graphique
ÉpoquechrF de validation
145,51
256,23
360,13
462,40
561,68
La version rejetée : 4 700 paires machine en plush2 progresse sur sa propre validation mais recule de façon significative sur FLORES+. Il a été écarté. C'est le résultat le plus utile du projet sur la traduction.
55606570chrFpas75150225300375h2 — 4 700 paires machine ajoutées (rejeté)

Source : F04, courbe de validation h2 · données

Voir les données du graphique
PaschrF de validation
7560,64
15061,65
22564,31
30064,24
37563,86

Ce qu'il fait bien, ce qu'il fait mal

Ce qu'il fait bien

  • BLEU 32,00 contre 23,37 pour le modèle de base sur le test interne ; gain significatif (p ≤ 0,001).
  • Gain confirmé sur FLORES+ (16,39 contre 15,49), la référence externe de 1 012 phrases.
  • 66 % de traductions jugées correctes, 97 % récupérables.

Ce qu'il fait mal

  • Jugement humain indicatif : accord faible entre validateurs (α 0,19).
  • Entrées limitées à 256 jetons : ne convient pas aux textes longs.
  • Licence CC-BY-NC 4.0 héritée de NLLB-200 : aucun usage commercial.

Comment il a été construit

Socle facebook/nllb-200-distilled-1.3B, adapté par affinage complet sur 288 paires humaines. Données : 288 paires humaines. Détail dans le rapport F04.

Licence

CC-BY-NC-4.0 : non commercial. Un modèle garde la licence de son modèle de base, quelle que soit celle des données d'entraînement. Gouvernance des données.