Em agosto, o sítio anunciava um WER de 0,534 para o Whisper «no melhor checkpoint», um CER de 0,170 para a leitura de documentos e «cada anotação validada pelo responsável linguístico». Em setembro, retomámos cada medida desde o início.
O que mudou
- Uma cadeia de avaliação única, maloba_eval, com mais de 1 400 testes automáticos, que repete cada medida a partir dos pesos publicados.
- Um conjunto de teste de fala sem fuga (V3.2): nenhuma gravação do teste serviu para o treino.
- Uma regra de leitura fixada antecipadamente: referência harmonizada contra saída harmonizada (leitura C), com intervalos de confiança calculados por gravação e não por segmento.
- Uma referência externa para a tradução: o valor publicado pela Meta em FLORES é reproduzido com uma diferença de 0,24 pontos.
O que dizem os novos números
A leitura de documentos atinge 88,7 % de caracteres corretos, confirmada por validadores humanos. A tradução progride de forma significativa. O reconhecimento de voz continua difícil: 44 % de palavras erradas em fala de terreno, rádio e balcão, com ruído e mudanças de língua. Publicamos os dois.
Dizer o que funciona e o que continua difícil. É essa franqueza que torna o resto credível.
Por Equipa Maloba, a 28 de setembro de 2026.