Maloba

Reconnaissance vocale

MMS 1B + adaptateur lingala

Transcrire la même parole de terrain, avec des sorties plus lisibles au caractère.

AdaptateurRapport d'entraînement F05
Entraîné en 1 h 50 sur 0,23 % de ses paramètres, l'adaptateur MMS atteint le même taux de mots justes que Whisper, avec des erreurs plus légères au caractère. Il a appris à écrire ɔ et ɛ, deux lettres que le modèle d'origine ne connaissait pas.

Résultat

WER 44,12 %, CER 16,26 % sur test V3.2 sans fuite, lecture C. Source : E09. Voir la page Résultats.

Mesures automatiques (E09)
MesureValeur
WER (mots erronés)44,12 %
CER (caractères erronés)16,26 %

Les mesures, en graphique

Taux de mots erronés, test V3.2 sans fuitePlus la barre est courte, mieux c'est. Le trait fin est l'intervalle de confiance à 95 %, calculé par bootstrap sur les 19 enregistrements du test.
057114171228Whisper Small, socle197,46 %MMS 1B, socle58,21 %Whisper + QLoRA44,17 %MMS + adaptateur44,12 %

Source : E09, lecture C normalisée · données

Voir les données du graphique
ModèleWER %Intervalle 95 %
Whisper Small, socle197,46182,35 – 211,17
MMS 1B, socle58,2155,61 – 60,59
Whisper + QLoRA44,1740,71 – 47,78
MMS + adaptateur44,1241,32 – 47,04
Taux de caractères erronésAu caractère, l'adaptateur MMS devance Whisper affiné : ses erreurs sont plus légères.
0316192122Whisper Small, socle104,32 %MMS 1B, socle22,87 %Whisper + QLoRA18,95 %MMS + adaptateur16,26 %

Source : E09, lecture C normalisée · données

Voir les données du graphique
ModèleCER %Intervalle 95 %
Whisper Small, socle104,3294,84 – 113,24
MMS 1B, socle22,8721,39 – 24,25
Whisper + QLoRA18,9516,90 – 20,77
MMS + adaptateur16,2614,91 – 17,59
Repère public : FLEURS, parole lueFLEURS est un jeu public de parole lue. Le socle MMS y reste meilleur que son adaptateur : celui-ci s'est spécialisé sur la parole de terrain du projet.
0316394125Whisper Small, socle116,15 %Whisper + QLoRA39,39 %MMS + adaptateur22,48 %MMS 1B, socle14,66 %

Source : E10, FLEURS ln_cd, 478 phrases · données

Voir les données du graphique
ModèleWER normalisé %
Whisper Small, socle116,15
Whisper + QLoRA39,39
MMS + adaptateur22,48
MMS 1B, socle14,66

Ce qu'il fait bien, ce qu'il fait mal

Ce qu'il fait bien

  • Même taux de mots justes que Whisper (44,12 % contre 44,17 %), avec un CER plus bas : 16,26 % contre 18,95 %.
  • A appris à écrire ɔ et ɛ, deux lettres que le modèle d'origine ne connaissait pas.
  • Entraîné en 1 h 50 sur 0,23 % de ses paramètres : reproductible à faible coût.

Ce qu'il fait mal

  • Spécialisé sur la parole de terrain : sur FLEURS (parole lue), MMS d'origine reste meilleur (14,66 % contre 22,48 %).
  • Licence CC-BY-NC 4.0 héritée de MMS : aucun usage commercial.
  • Évaluation humaine en cours (E10).

Comment il a été construit

Socle facebook/mms-1b-all, adapté par adaptateur de langue seul (0,23 % des paramètres), alphabet étendu à ɔ et ɛ. Données : train V3.2, 47,79 h. Détail dans le rapport F05.

Licence

CC-BY-NC-4.0 : non commercial. Un modèle garde la licence de son modèle de base, quelle que soit celle des données d'entraînement. Gouvernance des données.