Maloba

Reconhecimento de voz

MMS 1B + adaptateur lingala

Transcrever a mesma fala de terreno, com saídas mais legíveis ao nível do caractere.

AdaptadorRelatório de treino F05
Treinado em 1 h 50 sobre 0,23 % dos seus parâmetros, o adaptador MMS atinge a mesma taxa de palavras corretas que o Whisper, com erros mais ligeiros ao nível do caractere. Aprendeu a escrever ɔ e ɛ, duas letras que o modelo de origem não conhecia.

Resultado

WER 44,12 %, CER 16,26 % em teste V3.2 sem fuga, leitura C. Source : E09. Voir la page Résultats.

Mesures automatiques (E09)
MesureValeur
WER (mots erronés)44,12 %
CER (caractères erronés)16,26 %

As medições, em gráfico

Taxa de palavras erradas, teste V3.2 sem fugaQuanto mais curta a barra, melhor. A linha fina é o intervalo de confiança a 95 %, calculado por bootstrap sobre as 19 gravações do teste.
057114171228Whisper Small, base197,46 %MMS 1B, base58,21 %Whisper + QLoRA44,17 %MMS + adaptador44,12 %

Fonte : E09, lecture C normalisée · dados

Ver os dados do gráfico
ModeloWER %Intervalo 95 %
Whisper Small, base197,46182,35 – 211,17
MMS 1B, base58,2155,61 – 60,59
Whisper + QLoRA44,1740,71 – 47,78
MMS + adaptador44,1241,32 – 47,04
Taxa de caracteres erradosAo caráter, o adaptador MMS supera o Whisper afinado: os seus erros são mais leves.
0316192122Whisper Small, base104,32 %MMS 1B, base22,87 %Whisper + QLoRA18,95 %MMS + adaptador16,26 %

Fonte : E09, lecture C normalisée · dados

Ver os dados do gráfico
ModeloCER %Intervalo 95 %
Whisper Small, base104,3294,84 – 113,24
MMS 1B, base22,8721,39 – 24,25
Whisper + QLoRA18,9516,90 – 20,77
MMS + adaptador16,2614,91 – 17,59
Referência pública: FLEURS, fala lidaO FLEURS é um conjunto público de fala lida. O modelo de base MMS mantém-se aí melhor do que o seu adaptador: este especializou-se na fala de terreno do projeto.
0316394125Whisper Small, base116,15 %Whisper + QLoRA39,39 %MMS + adaptador22,48 %MMS 1B, base14,66 %

Fonte : E10, FLEURS ln_cd, 478 phrases · dados

Ver os dados do gráfico
ModeloWER normalizado %
Whisper Small, base116,15
Whisper + QLoRA39,39
MMS + adaptador22,48
MMS 1B, base14,66

O que faz bem, o que faz mal

O que faz bem

  • A mesma taxa de palavras corretas que o Whisper (44,12 % contra 44,17 %), com um CER mais baixo: 16,26 % contra 18,95 %.
  • Aprendeu a escrever ɔ e ɛ, duas letras que o modelo de origem não conhecia.
  • Treinado em 1 h 50 sobre 0,23 % dos seus parâmetros: reproduzível a baixo custo.

O que faz mal

  • Especializado na fala de terreno: no FLEURS (fala lida) o MMS de origem continua melhor (14,66 % contra 22,48 %).
  • Licença CC-BY-NC 4.0 herdada do MMS: nenhum uso comercial.
  • Avaliação humana ainda em curso (E10).

Como foi construído

Socle facebook/mms-1b-all, adapté par adaptateur de langue seul (0,23 % des paramètres), alphabet étendu à ɔ et ɛ. Données : train V3.2, 47,79 h. Détail dans le rapport F05.

Licença

CC-BY-NC-4.0 : não comercial. Un modèle garde la licence de son modèle de base, quelle que soit celle des données d'entraînement. Gouvernance des données.