Resultados e relatórios

O que funciona, o que continua difícil

Cada número desta página vem de um relatório datado, listado no fim da página. As medições automáticas são reproduzidas por uma cadeia de avaliação replicável; os juízos humanos indicam sempre a sua fiabilidade: «utilizável» quando o acordo entre validadores ultrapassa o limiar fixado à partida, «indicativo» caso contrário.

Medições automáticas

Modelo de base contra modelo afinado, para os cinco modelos, com as comparações externas: FLORES+ para a tradução (o valor publicado pela Meta é reproduzido com uma diferença de 0,24 pontos) e FLEURS para a fala.

Modelo de base contra modelo afinado (E01, E02, E09, E10)
Modelo	Medida	Base	Afinado	Conjunto de teste	Fiabilidade
Whisper Small + QLoRA	WER / CER	—	44,17 % / 18,95 %	Teste V3.2 sem fuga, 1 797 segmentos, leitura C	utilizável
MMS 1B + adaptateur	WER / CER	—	44,12 % / 16,26 %	Mesmo teste; diferença face ao Whisper não estabelecida	utilizável
MMS 1B + adaptateur	WER normalizado, FLEURS	14,66 %	22,48 %	FLEURS ln_cd, 478 frases lidas: especialização de domínio	utilizável
Qwen2-VL 2B + QLoRA	Caracteres corretos (CER)	—	88,7 % (11,3 %)	50 exemplos de teste; exatidão estrita 28 %	utilizável
NLLB-Maloba-h1	BLEU, teste interno	23,37	32,00	79 frases; p ≤ 0,001	utilizável
NLLB-Maloba-h1	BLEU, FLORES+	15,49	16,39	1 012 frases; p ≤ 0,001	utilizável
Llama 3.1 8B + QLoRA	ROUGE-L	0,1521	0,2379	964 exemplos de teste	utilizável

Os modelos de base do Whisper e do Qwen2-VL não produzem lingala utilizável: a sua medida não é comparável. O WER do Whisper medido em agosto (46,4 % na V2) é substituído pela nova medição E09 num teste sem fuga.

Reconhecimento de voz: taxa de palavras erradas no teste sem fugaQuanto mais curta a barra, melhor. A linha fina é o intervalo de confiança a 95 %, obtido por bootstrap sobre as 19 gravações do teste: os intervalos do Whisper afinado e do MMS afinado sobrepõem-se largamente, pelo que a diferença entre ambos não está estabelecida.

Fonte : E09, leitura C normalizada · dados

Ver os dados do gráfico

Modelo	WER %	Intervalo 95 %
Whisper Small, base	197,46	182,35 – 211,17
MMS 1B, base	58,21	55,61 – 60,59
Whisper + QLoRA	44,17	40,71 – 47,78
MMS + adaptador	44,12	41,32 – 47,04

Reconhecimento de voz: taxa de caracteres erradosAo nível do caractere, o adaptador MMS supera o Whisper afinado: os seus erros são mais ligeiros e as saídas mais legíveis.

Fonte : E09, leitura C normalizada · dados

Ver os dados do gráfico

Modelo	CER %	Intervalo 95 %
Whisper Small, base	104,32	94,84 – 113,24
MMS 1B, base	22,87	21,39 – 24,25
Whisper + QLoRA	18,95	16,90 – 20,77
MMS + adaptador	16,26	14,91 – 17,59

O que custa a convenção de escritaA mesma transcrição, avaliada de três formas: contra a referência de origem (A), contra a referência harmonizada (B), e com ambas harmonizadas (C). A diferença entre A e C é a parte do erro que não vem do modelo mas da variação ortográfica.

Whisper + QLoRA

MMS + adaptador

MMS 1B, base

Fonte : E09 · dados

Ver os dados do gráfico

Modelo	A — referência de origem	B — referência harmonizada	C — ambas harmonizadas
Whisper + QLoRA	47,45 %	47,11 %	44,17 %
MMS + adaptador	47,35 %	44,84 %	44,12 %
MMS 1B, base	61,03 %	60,01 %	58,21 %

Em fala lida, o modelo de base MMS continua melhorO FLEURS é um conjunto de fala lida, longe das rádios e dos balcões onde o projeto recolheu. O adaptador especializou-se na fala de terreno: é especialização de domínio, não uma regressão.

Fonte : E10, FLEURS ln_cd · dados

Ver os dados do gráfico

Modelo	WER normalizado %
Whisper Small, base	116,15
Whisper + QLoRA	39,39
MMS + adaptador	22,48
MMS 1B, base	14,66

E02 — Testes estatísticos e referência externa da tradução

Bootstrap emparelhado de 1 000 amostras, corrigido para oito testes. Passagem base → h1: +8,63 BLEU e +7,36 chrF no teste interno, +0,91 BLEU e +1,78 chrF em FLORES+ (p ≤ 0,001 em todos). Passagem h1 → h2 (4 700 pares de máquina acrescentados): nenhum ganho no teste interno, recuo significativo em FLORES+: h2 é rejeitado. Referência Meta em FLORES devtest fra → lin: chrF++ 46,2 publicado, 46,44 medido pela CDS para a base, 48,31 para h1.

Tradução: o que o treino deu, época a épocaO h1, afinado com 288 pares traduzidos por humanos, sobe até à época 4 e depois desce: é esse o ponto retido. O h2, que acrescenta 4 700 pares feitos por máquina, progride na sua própria validação mas recua no FLORES+, e foi rejeitado.

Fonte : F04, courbes de validation · dados

Ver os dados do gráfico

Série	Ponto	chrF de validação
h1 — 288 paires humaines	époque 1	45,51
h1 — 288 paires humaines	époque 2	56,23
h1 — 288 paires humaines	époque 3	60,13
h1 — 288 paires humaines	époque 4	62,40
h1 — 288 paires humaines	époque 5	61,68
h2 — rejeté	pas 75	60,64
h2 — rejeté	pas 150	61,65
h2 — rejeté	pas 225	64,31
h2 — rejeté	pas 300	64,24
h2 — rejeté	pas 375	63,86

Tradução: modelo de base contra modelo afinadoO ganho é confirmado numa referência externa, o FLORES+, e não apenas no conjunto de teste do projeto. Bootstrap emparelhado de 1 000 amostragens, corrigido para oito testes.

Test interne — 79 phrases

FLORES+ devtest — 1 012 phrases

Fonte : E02, tests statistiques

Ver os dados do gráfico

Conjunto de teste	Medida	Base	Afinado	Diferença
Test interne — 79 phrases	BLEU	23,37	32,00	+8,63
Test interne — 79 phrases	chrF	54,38	61,74	+7,36
FLORES+ devtest — 1 012 phrases	BLEU	15,49	16,39	+0,90
FLORES+ devtest — 1 012 phrases	chrF	50,31	52,09	+1,78

Validação humana

Três validadores falantes de lingala, três perguntas, uma regra de contagem fixada antes da campanha. Veredicto por maioria (2 em 3); intervalos de Wilson a 95 %; acordo medido pelo alfa de Krippendorff, limiar 0,60 fixado antecipadamente. Respostas conservadas pela CDS sob pseudónimo. Nota metodológica da validação (PDF) (abre numa nova janela)

O que foi avaliado (E03 a E08)
O que foi avaliado	Resultado	Fiabilidade
Corpus (310 échantillons, 930 jugements)	Sens préservé dans 96,5 % des cas ; 3 % seulement d'erreurs de fond	indicativo acordo fraco sobre «correto» ou «parcial»
Lecture de documents (25 images)	32 % parfaites, 92 % récupérables	utilizável accord suffisant (α 0,665)
Traduction (38 phrases)	66 % correctes, 97 % récupérables	indicativo α 0,19 ; paire V1–V2 0,73
Reconnaissance vocale (25 segments)	16 % parfaits, 100 % récupérables	indicativo α 0,26

O que responderam três validadores, modelo a modeloVeredicto maioritário, dois validadores em três. Só a leitura de documentos atinge o limiar de acordo de 0,60 fixado antes das campanhas: os outros dois resultados são publicados como indicativos.

Fonte : E06, E07, E08

Ver os dados do gráfico

O que foi avaliado	Amostra	Correto	Parcialmente correto	Incorreto	Acordo α
tradNllb	38 phrases	66 %	32 %	2 %	0,190
docQwen	25 images	32 %	60 %	8 %	0,665
voixWhisper	25 segments	16 %	84 %	0 %	0,258

O acordo entre validadores, campanha a campanhaO limiar de 0,60 foi fixado antes das campanhas. Só uma campanha o ultrapassa: a leitura de documentos. Um acordo fraco não significa que os dados sejam maus, mas que a fronteira entre «correto» e «parcialmente correto» não é a mesma para todos — em grande parte porque a ortografia do lingala não está estabilizada.

Fonte : E03 a E08

Ver os dados do gráfico

Campanha	Alfa de Krippendorff
Corpus ASR (E03)	0,420
Corpus OCR (E04)	0,530
Corpus LLM (E05)	0,080
Fala (E06)	0,258
Documentos (E07)	0,665
Tradução (E08)	0,190

Documentado

Limites no encerramento

58,1 h anotadas e verificadas, abaixo da meta revista de 75 h e abaixo do intervalo de 80–100 h dos termos de referência.
A ortografia do lingala não está estabilizada: a variação pesa cerca de 5 % de WER nas referências.
O desacordo entre transcritores humanos atinge 12 % ao caráter: é o piso medido.
O acordo entre validadores mantém-se abaixo do limiar de 0,60 fixado antes das campanhas: as taxas são publicadas a título indicativo.
Os conjuntos de teste contam 19 gravações, 50 imagens e 79 frases.
O número de locutores distintos do corpus V3.2 não está estabelecido.
A avaliação humana do Llama 3.1 não foi conduzida: os meios foram afetados à tradução.

Documentado

Recursos constituídos, fora do corpus anotado

Gravações do Voice-a-thon Saúde: 11 gravações, nenhuma duração de fala publicada.
Cerca de 150 h de fitas magnéticas da Radio Rurale, não digitalizadas.
Corpus escrito SIL Congo: 22 documentos, 1 008 páginas, usados para a leitura de documentos e não divulgados em texto corrido.
1 282 linhas OCR harmonizadas, conservadas fora do conjunto de treino publicado.

Relatórios deavaliação

Avaliações E01 a E10, fixadas a 29 de setembro de 2026. Versões pseudonimizadas: nenhuma resposta nominativa de validador. Índice das avaliações (PDF) (abre numa nova janela)

Avaliações
Réf.	Avaliação	Conjunto e efetivo	Resultado principal	Fiabilidade	Relatório	Peças
E01	Mesures automatiques des modèles Automatique · Définitif ; WER ASR complété par E09	Tests internes ; FLORES+	ROUGE-L 0,2379 ; CER OCR 11,3 % ; BLEU 32,00	exploitable	PDF (abre numa nova janela)	—
E02	Tests statistiques et référence externe de la traduction Automatique · Définitif	Test interne (79) ; FLORES+ devtest (1 012)	+8,63 BLEU et +0,91 sur FLORES+ (p ≤ 0,001) ; chrF++ de la base 46,44 contre 46,2 publié par Meta	exploitable	PDF (abre numa nova janela)	—
E03	Validation humaine du corpus ASR Humaine, volet 1 · Accord faible (α 0,25 à 0,42)	88 segments	43 à 44 % correct ; 97 à 100 % correct ou partiel	indicatif	PDF (abre numa nova janela)	1
E04	Validation humaine du corpus OCR Humaine, volet 1 · Accord faible (α 0,49 à 0,53)	91 images	Test : 84 % correct ; 96 % correct ou partiel	indicatif	PDF (abre numa nova janela)	1
E05	Validation humaine du corpus LLM Humaine, volet 1 · Accord faible (α 0,08)	131 exemples	Test : 58 % correct ; 98 % correct ou partiel	indicatif	PDF (abre numa nova janela)	1
E06	Évaluation humaine de Whisper affiné Humaine, volet 2 · Indicatif (α 0,26)	25 segments du test	16 % correct ; 100 % correct ou partiel	indicatif	PDF (abre numa nova janela)	1
E07	Évaluation humaine de Qwen2-VL affiné Humaine, volet 2 · Exploitable (α 0,665)	25 images du test	32 % correct ; 92 % correct ou partiel	exploitable	PDF (abre numa nova janela)	1
E08	Évaluation humaine de NLLB-Maloba-h1 Humaine, volet 2 · Indicatif (α 0,19 ; paire V1–V2 0,73)	38 phrases du test	66 % correct ; 97 % correct ou partiel	indicatif	PDF (abre numa nova janela)	1
E09	Remesure ASR sans fuite (V3.2) Automatique · Définitif	Test V3.2 (1 797 segments, 19 enregistrements)	WER 44,12 % (MMS affiné) et 44,17 % (Whisper affiné) ; CER 16,26 % et 18,95 %	exploitable	PDF (abre numa nova janela)	10
E10	MMS affiné : FLEURS et évaluation humaine Automatique et humaine · FLEURS définitif ; humain en cours	FLEURS (478 phrases) ; 25 segments × 2 modèles	FLEURS : WER 22,48 % (MMS d'origine 14,66 %) : spécialisation de domaine	indicatif	PDF (abre numa nova janela)	5

Relatórios detreino

Entraînements F01 à F05 : données, configuration complète, courbes, point retenu, résultat officiel, défauts connus. Índice dos treinos (PDF) (abre numa nova janela)

Treinos
Réf.	Modelo	Método	Dados	Resultado oficial	Relatório	Peças
F01	Llama 3.1 8B Instruct, QLoRA	QLoRA, rang 16	5 700 exemples Alpaca, 5 registres	ROUGE-L 0,2379 (base 0,1521)	PDF (abre numa nova janela)	2
F02	Whisper Small, QLoRA	QLoRA 4 bits NF4, rang 32	train V2, augmentation figée	WER 44,17 % sur V3.2 (E09)	PDF (abre numa nova janela)	3
F03	Qwen2-VL 2B Instruct, QLoRA	QLoRA, rang 32, 4 jetons ajoutés	417 exemples image–texte	88,7 % au caractère (CER 11,3 %)	PDF (abre numa nova janela)	2
F04	NLLB-200 distilled 1.3B, affinage complet	Affinage complet	288 paires humaines	BLEU 32,00 ; FLORES+ 16,39	PDF (abre numa nova janela)	14
F05	MMS 1B, adaptateur de langue	Adaptateur de langue, 0,23 % des paramètres	train V3.2, 47,79 h	WER 44,12 %, CER 16,26 % sur V3.2	PDF (abre numa nova janela)	4

Os entregáveis contratuais (L3, L4, L5) não são divulgados neste sítio.

Ficheiros e registos

O que produziu cada resultado: registos de execução, pontuações brutas, curvas de treino, relevos de publicação e respostas dos validadores. As respostas são pseudonimizadas: nenhum nome nem contacto é divulgado.

E03Validation humaine du corpus ASR1 pièce