Maloba

Reconhecimento de voz

Whisper Small + QLoRA

Transcrever uma emissão de rádio, uma conversa ao balcão, uma consulta.

Pesos fundidosAdaptadoresRelatório de treino F02

Resultado

WER 44,17 %, CER 18,95 % em teste V3.2 sem fuga, leitura C. Source : E09. Voir la page Résultats.

Mesures automatiques (E09)
MesureValeur
WER (mots erronés)44,17 %
CER (caractères erronés)18,95 %

Jugement humain (trois validateurs) : 16 % de sorties correctes à la majorité, 100 % correctes ou récupérables ; accord α 0,26 : indicatif.

As medições, em gráfico

Taxa de palavras erradas, teste V3.2 sem fugaQuanto mais curta a barra, melhor. A linha fina é o intervalo de confiança a 95 %, calculado por bootstrap sobre as 19 gravações do teste.
057114171228Whisper Small, base197,46 %MMS 1B, base58,21 %Whisper + QLoRA44,17 %MMS + adaptador44,12 %

Fonte : E09, lecture C normalisée · dados

Ver os dados do gráfico
ModeloWER %Intervalo 95 %
Whisper Small, base197,46182,35 – 211,17
MMS 1B, base58,2155,61 – 60,59
Whisper + QLoRA44,1740,71 – 47,78
MMS + adaptador44,1241,32 – 47,04
Taxa de caracteres erradosAo caráter, o adaptador MMS supera o Whisper afinado: os seus erros são mais leves.
0316192122Whisper Small, base104,32 %MMS 1B, base22,87 %Whisper + QLoRA18,95 %MMS + adaptador16,26 %

Fonte : E09, lecture C normalisée · dados

Ver os dados do gráfico
ModeloCER %Intervalo 95 %
Whisper Small, base104,3294,84 – 113,24
MMS 1B, base22,8721,39 – 24,25
Whisper + QLoRA18,9516,90 – 20,77
MMS + adaptador16,2614,91 – 17,59
Referência pública: FLEURS, fala lidaO FLEURS é um conjunto público de fala lida. O modelo de base MMS mantém-se aí melhor do que o seu adaptador: este especializou-se na fala de terreno do projeto.
0316394125Whisper Small, base116,15 %Whisper + QLoRA39,39 %MMS + adaptador22,48 %MMS 1B, base14,66 %

Fonte : E10, FLEURS ln_cd, 478 phrases · dados

Ver os dados do gráfico
ModeloWER normalizado %
Whisper Small, base116,15
Whisper + QLoRA39,39
MMS + adaptador22,48
MMS 1B, base14,66

O que faz bem, o que faz mal

O que faz bem

  • Fala de terreno com ruído e alternância lingala–francês: a base Whisper é robusta nesse contexto.
  • Todas as transcrições de teste são consideradas recuperáveis pelos validadores humanos.
  • Modelo completo e adaptadores publicados sob Apache 2.0: utilizável comercialmente.

O que faz mal

  • 44 % de palavras erradas no teste sem fuga: uma transcrição em duas exige revisão.
  • Erros ortográficos frequentes em ɔ e ɛ, que o modelo só aprendeu indiretamente.
  • Apenas 16 % dos segmentos são considerados perfeitos pela maioria (acordo fraco: indicativo).

Como foi construído

Socle openai/whisper-small, adapté par qLoRA 4 bits, LoRA rang 32. Données : train V2, augmentation figée. Détail dans le rapport F02.

Licença

Apache-2.0 : utilizável comercialmente. Un modèle garde la licence de son modèle de base, quelle que soit celle des données d'entraînement. Gouvernance des données.