Résultats et rapports

Ce qui marche, ce qui reste difficile

Chaque chiffre de cette page vient d'un rapport daté, listé en bas de page. Les mesures automatiques sont rejouées par une chaîne d'évaluation reproductible ; les jugements humains portent toujours leur fiabilité : « exploitable » quand l'accord entre validateurs dépasse le seuil fixé à l'avance, « indicatif » sinon.

Mesures automatiques

Modèle de base contre modèle affiné, pour les cinq modèles, avec les comparaisons externes : FLORES+ pour la traduction (la valeur publiée par Meta est reproduite à 0,24 point près) et FLEURS pour la voix.

Modèle de base contre modèle affiné (E01, E02, E09, E10)
Modèle	Mesure	Base	Affiné	Jeu de test	Fiabilité
Whisper Small + QLoRA	WER / CER	—	44,17 % / 18,95 %	Test V3.2 sans fuite, 1 797 segments, lecture C	exploitable
MMS 1B + adaptateur	WER / CER	—	44,12 % / 16,26 %	Même test ; écart avec Whisper non établi	exploitable
MMS 1B + adaptateur	WER normalisé, FLEURS	14,66 %	22,48 %	FLEURS ln_cd, 478 phrases lues : spécialisation de domaine	exploitable
Qwen2-VL 2B + QLoRA	Caractères justes (CER)	—	88,7 % (11,3 %)	50 exemples de test ; exactitude stricte 28 %	exploitable
NLLB-Maloba-h1	BLEU, test interne	23,37	32,00	79 phrases ; p ≤ 0,001	exploitable
NLLB-Maloba-h1	BLEU, FLORES+	15,49	16,39	1 012 phrases ; p ≤ 0,001	exploitable
Llama 3.1 8B + QLoRA	ROUGE-L	0,1521	0,2379	964 exemples de test	exploitable

Les modèles de base de Whisper et Qwen2-VL ne produisent pas de lingala exploitable : leur mesure n'est pas comparable. Le WER de Whisper mesuré en août (46,4 % sur la V2) est remplacé par la remesure E09 sur un test sans fuite.

Reconnaissance vocale : taux de mots erronés sur le test sans fuitePlus la barre est courte, mieux c'est. Le trait fin est l'intervalle de confiance à 95 %, calculé par bootstrap sur les 19 enregistrements du test : les intervalles de Whisper affiné et de MMS affiné se recouvrent largement, l'écart entre les deux n'est pas établi.

Source : E09, lecture C normalisée · données

Voir les données du graphique

Modèle	WER %	Intervalle 95 %
Whisper Small, socle	197,46	182,35 – 211,17
MMS 1B, socle	58,21	55,61 – 60,59
Whisper + QLoRA	44,17	40,71 – 47,78
MMS + adaptateur	44,12	41,32 – 47,04

Reconnaissance vocale : taux de caractères erronésAu caractère, l'adaptateur MMS fait mieux que Whisper affiné : ses erreurs sont plus légères et ses sorties plus lisibles.

Source : E09, lecture C normalisée · données

Voir les données du graphique

Modèle	CER %	Intervalle 95 %
Whisper Small, socle	104,32	94,84 – 113,24
MMS 1B, socle	22,87	21,39 – 24,25
Whisper + QLoRA	18,95	16,90 – 20,77
MMS + adaptateur	16,26	14,91 – 17,59

Ce que coûte la convention d'écritureLa même transcription, jugée de trois façons : contre la référence d'origine (A), contre la référence harmonisée (B), et les deux harmonisées (C). L'écart entre A et C est la part d'erreur qui ne vient pas du modèle mais de la variation d'orthographe.

Whisper + QLoRA

MMS + adaptateur

MMS 1B, socle

Source : E09 · données

Voir les données du graphique

Modèle	A — référence d'origine	B — référence harmonisée	C — les deux harmonisées
Whisper + QLoRA	47,45 %	47,11 %	44,17 %
MMS + adaptateur	47,35 %	44,84 %	44,12 %
MMS 1B, socle	61,03 %	60,01 %	58,21 %

Sur de la parole lue, le socle MMS reste meilleurFLEURS est un jeu de parole lue, loin des radios et des guichets sur lesquels le projet a collecté. L'adaptateur s'est spécialisé sur la parole de terrain : c'est une spécialisation de domaine, pas une régression.

Source : E10, FLEURS ln_cd · données

Voir les données du graphique

Modèle	WER normalisé %
Whisper Small, socle	116,15
Whisper + QLoRA	39,39
MMS + adaptateur	22,48
MMS 1B, socle	14,66

E02 — Tests statistiques et référence externe de la traduction

Bootstrap apparié de 1 000 tirages, corrigé pour huit tests. Passage base → h1 : +8,63 BLEU et +7,36 chrF sur le test interne, +0,91 BLEU et +1,78 chrF sur FLORES+ (p ≤ 0,001 partout). Passage h1 → h2 (4 700 paires machine ajoutées) : aucun gain sur le test interne, recul significatif sur FLORES+ : h2 est rejeté. Référence Meta sur FLORES devtest fra → lin : chrF++ 46,2 publié, 46,44 mesuré par CDS pour la base, 48,31 pour h1.

Traduction : ce que l'entraînement a donné, époque par époqueh1, affiné sur 288 paires traduites par des humains, monte jusqu'à l'époque 4 puis redescend : c'est ce point qui est retenu. h2, qui ajoute 4 700 paires fabriquées par machine, progresse sur sa propre validation mais recule sur FLORES+ : il a été rejeté.

Source : F04, courbes de validation · données

Voir les données du graphique

Série	Repère	chrF de validation
h1 — 288 paires humaines	époque 1	45,51
h1 — 288 paires humaines	époque 2	56,23
h1 — 288 paires humaines	époque 3	60,13
h1 — 288 paires humaines	époque 4	62,40
h1 — 288 paires humaines	époque 5	61,68
h2 — rejeté	pas 75	60,64
h2 — rejeté	pas 150	61,65
h2 — rejeté	pas 225	64,31
h2 — rejeté	pas 300	64,24
h2 — rejeté	pas 375	63,86

Traduction : modèle de base contre modèle affinéLe gain est confirmé sur une référence externe, FLORES+, et pas seulement sur le jeu de test du projet. Bootstrap apparié de 1 000 tirages, corrigé pour huit tests.

Test interne — 79 phrases

FLORES+ devtest — 1 012 phrases

Source : E02, tests statistiques

Voir les données du graphique

Jeu de test	Mesure	Base	Affiné	Écart
Test interne — 79 phrases	BLEU	23,37	32,00	+8,63
Test interne — 79 phrases	chrF	54,38	61,74	+7,36
FLORES+ devtest — 1 012 phrases	BLEU	15,49	16,39	+0,90
FLORES+ devtest — 1 012 phrases	chrF	50,31	52,09	+1,78

Validation humaine

Trois validateurs lingalaphones, trois questions, une règle de comptage fixée avant la campagne. Verdict à la majorité (2 sur 3) ; intervalles de Wilson à 95 % ; accord mesuré par l'alpha de Krippendorff, seuil 0,60 fixé à l'avance. Réponses conservées par CDS sous pseudonyme. Note de méthodologie de la validation (PDF) (nouvelle fenêtre)

Ce qui a été jugé (E03 à E08)
Ce qui a été jugé	Résultat	Fiabilité
Corpus (310 échantillons, 930 jugements)	Sens préservé dans 96,5 % des cas ; 3 % seulement d'erreurs de fond	indicatif accord faible sur « correct » ou « partiel »
Lecture de documents (25 images)	32 % parfaites, 92 % récupérables	exploitable accord suffisant (α 0,665)
Traduction (38 phrases)	66 % correctes, 97 % récupérables	indicatif α 0,19 ; paire V1–V2 0,73
Reconnaissance vocale (25 segments)	16 % parfaits, 100 % récupérables	indicatif α 0,26

Ce que trois validateurs ont répondu, modèle par modèleVerdict majoritaire, deux validateurs sur trois. Seule la lecture de documents atteint le seuil d'accord de 0,60 fixé avant les campagnes : les deux autres résultats sont publiés comme indicatifs.

Source : E06, E07, E08

Voir les données du graphique

Ce qui a été jugé	Effectif	Correct	Partiel	Incorrect	Accord α
tradNllb	38 phrases	66 %	32 %	2 %	0,190
docQwen	25 images	32 %	60 %	8 %	0,665
voixWhisper	25 segments	16 %	84 %	0 %	0,258

L'accord entre validateurs, campagne par campagneLe seuil de 0,60 a été fixé avant les campagnes. Une seule campagne le dépasse : la lecture de documents. Un accord faible ne dit pas que les données sont mauvaises, mais que la frontière entre « correct » et « partiellement correct » n'est pas la même pour chacun — en grande partie parce que l'orthographe du lingala n'est pas stabilisée.

Source : E03 à E08

Voir les données du graphique

Campagne	Alpha de Krippendorff
Corpus ASR (E03)	0,420
Corpus OCR (E04)	0,530
Corpus LLM (E05)	0,080
Voix (E06)	0,258
Documents (E07)	0,665
Traduction (E08)	0,190

Documenté

Limites à la clôture

58,1 h annotées et vérifiées, sous la cible révisée de 75 h et sous la fourchette de 80–100 h des termes de référence.
L'orthographe du lingala n'est pas stabilisée : la variation pèse environ 5 % de WER sur les références.
Le désaccord entre transcripteurs humains atteint 12 % au caractère : c'est le plancher mesuré.
L'accord inter-validateurs reste sous le seuil de 0,60 fixé avant les campagnes : les taux sont publiés à titre indicatif.
Les jeux de test comptent 19 enregistrements, 50 images et 79 phrases.
Le nombre de locuteurs distincts du corpus V3.2 n'est pas établi.
L'évaluation humaine de Llama 3.1 n'a pas été conduite : les moyens ont été affectés à la traduction.

Documenté

Ressources constituées, hors du corpus annoté

Enregistrements du Voice-a-thon Santé : 11 enregistrements, aucune durée de parole publiée.
Environ 150 h de bandes magnétiques de Radio Rurale, non numérisées.
Corpus écrit SIL Congo : 22 documents, 1 008 pages, utilisés pour la lecture de documents et non diffusés en texte suivi.
1 282 lignes OCR harmonisées, conservées hors du jeu d'entraînement publié.

Rapports d'évaluation

Évaluations E01 à E10, arrêtées au 29 septembre 2026. Versions pseudonymisées : aucune réponse nominative de validateur. Index des évaluations (PDF) (nouvelle fenêtre)

Évaluations
Réf.	Évaluation	Jeu et effectif	Résultat principal	Fiabilité	Rapport	Pièces
E01	Mesures automatiques des modèles Automatique · Définitif ; WER ASR complété par E09	Tests internes ; FLORES+	ROUGE-L 0,2379 ; CER OCR 11,3 % ; BLEU 32,00	exploitable	PDF (nouvelle fenêtre)	—
E02	Tests statistiques et référence externe de la traduction Automatique · Définitif	Test interne (79) ; FLORES+ devtest (1 012)	+8,63 BLEU et +0,91 sur FLORES+ (p ≤ 0,001) ; chrF++ de la base 46,44 contre 46,2 publié par Meta	exploitable	PDF (nouvelle fenêtre)	—
E03	Validation humaine du corpus ASR Humaine, volet 1 · Accord faible (α 0,25 à 0,42)	88 segments	43 à 44 % correct ; 97 à 100 % correct ou partiel	indicatif	PDF (nouvelle fenêtre)	1
E04	Validation humaine du corpus OCR Humaine, volet 1 · Accord faible (α 0,49 à 0,53)	91 images	Test : 84 % correct ; 96 % correct ou partiel	indicatif	PDF (nouvelle fenêtre)	1
E05	Validation humaine du corpus LLM Humaine, volet 1 · Accord faible (α 0,08)	131 exemples	Test : 58 % correct ; 98 % correct ou partiel	indicatif	PDF (nouvelle fenêtre)	1
E06	Évaluation humaine de Whisper affiné Humaine, volet 2 · Indicatif (α 0,26)	25 segments du test	16 % correct ; 100 % correct ou partiel	indicatif	PDF (nouvelle fenêtre)	1
E07	Évaluation humaine de Qwen2-VL affiné Humaine, volet 2 · Exploitable (α 0,665)	25 images du test	32 % correct ; 92 % correct ou partiel	exploitable	PDF (nouvelle fenêtre)	1
E08	Évaluation humaine de NLLB-Maloba-h1 Humaine, volet 2 · Indicatif (α 0,19 ; paire V1–V2 0,73)	38 phrases du test	66 % correct ; 97 % correct ou partiel	indicatif	PDF (nouvelle fenêtre)	1
E09	Remesure ASR sans fuite (V3.2) Automatique · Définitif	Test V3.2 (1 797 segments, 19 enregistrements)	WER 44,12 % (MMS affiné) et 44,17 % (Whisper affiné) ; CER 16,26 % et 18,95 %	exploitable	PDF (nouvelle fenêtre)	10
E10	MMS affiné : FLEURS et évaluation humaine Automatique et humaine · FLEURS définitif ; humain en cours	FLEURS (478 phrases) ; 25 segments × 2 modèles	FLEURS : WER 22,48 % (MMS d'origine 14,66 %) : spécialisation de domaine	indicatif	PDF (nouvelle fenêtre)	5

Rapports d'entraînement

Entraînements F01 à F05 : données, configuration complète, courbes, point retenu, résultat officiel, défauts connus. Index des entraînements (PDF) (nouvelle fenêtre)

Entraînements
Réf.	Modèle	Méthode	Données	Résultat officiel	Rapport	Pièces
F01	Llama 3.1 8B Instruct, QLoRA	QLoRA, rang 16	5 700 exemples Alpaca, 5 registres	ROUGE-L 0,2379 (base 0,1521)	PDF (nouvelle fenêtre)	2
F02	Whisper Small, QLoRA	QLoRA 4 bits NF4, rang 32	train V2, augmentation figée	WER 44,17 % sur V3.2 (E09)	PDF (nouvelle fenêtre)	3
F03	Qwen2-VL 2B Instruct, QLoRA	QLoRA, rang 32, 4 jetons ajoutés	417 exemples image–texte	88,7 % au caractère (CER 11,3 %)	PDF (nouvelle fenêtre)	2
F04	NLLB-200 distilled 1.3B, affinage complet	Affinage complet	288 paires humaines	BLEU 32,00 ; FLORES+ 16,39	PDF (nouvelle fenêtre)	14
F05	MMS 1B, adaptateur de langue	Adaptateur de langue, 0,23 % des paramètres	train V3.2, 47,79 h	WER 44,12 %, CER 16,26 % sur V3.2	PDF (nouvelle fenêtre)	4

Les livrables contractuels (L3, L4, L5) ne sont pas diffusés sur ce site.

Pièces et journaux

Ce qui a produit chaque résultat : journaux d'exécution, scores bruts, courbes d'entraînement, relevés de publication et réponses des validateurs. Les réponses sont pseudonymisées : aucun nom ni coordonnée n'est diffusé.

E03Validation humaine du corpus ASR1 pièce