En août, le site annonçait un WER de 0,534 pour Whisper « au meilleur checkpoint », un CER de 0,170 pour la lecture de documents et « chaque annotation validée par le responsable linguistique ». En septembre, nous avons repris chaque mesure depuis le début.
Ce qui a changé
- Une chaîne d'évaluation unique, maloba_eval, avec plus de 1 400 tests automatiques, qui rejoue chaque mesure depuis les poids publiés.
- Un jeu de test audio sans fuite (V3.2) : aucun enregistrement du test n'a servi à l'entraînement.
- Une règle de lecture fixée à l'avance : référence harmonisée contre sortie harmonisée (lecture C), avec des intervalles de confiance calculés par enregistrement et non par segment.
- Une référence externe pour la traduction : la valeur publiée par Meta sur FLORES est reproduite à 0,24 point près.
Ce que disent les nouveaux chiffres
La lecture de documents atteint 88,7 % de caractères justes, confirmée par des validateurs humains. La traduction progresse de façon significative. La reconnaissance vocale reste difficile : 44 % de mots erronés sur de la parole de terrain, radio et guichet, avec du bruit et des changements de langue. Nous publions les deux.
Dire ce qui marche et ce qui reste difficile. C'est cette franchise qui rend le reste crédible.
Par Équipe Maloba, le 28 septembre 2026.