Mbuma mpe balapolo

Oyo ezali kosala, oyo ezali kotikala ezali pasi

Mitángo nyonso oyo ezali na lokasa oyo euti na lapolo moko ya dati, oyo ezali na nse ya lokasa. Makambo oyo esalemaka na masini ezongaka lisusu na molɔngɔ ya makambo oyo ekoki kozongelama; bikateli ya bato ezalaka ntango nyonso ya solo: ekoki kosalelama soki boyokani kati na bato oyo batyaka elembo eleki ndelo oyo etyamá liboso, ya kolakisa soki te.

Makambo oyo esengeli kosala bamasini ya kosala na yango moko

Modèle de base contre modèle affiné, mpo na ba modèles mitano, na bokokanisi ya libándá : FLORES+ mpo na bobongoli (motuya oyo Meta abimisi emonisami na bozindo ya 0,24 point) mpe FLEURS mpo na mongongo.

Modèle de base contre modèle affiné (E01, E02, E09, E10)
Ndakisa	Ndenge ya kosala	Moboko	Esembolami	Lisano ya komeka	Kotyelama motema
Whisper Small + QLoRA	WER / CER	—	44,17 % / 18,95 %	Komeka V3.2 kozanga bosɔtɔ, 1 797 biteni, botángi C	oyo ekoki kosalelama
MMS 1B + adaptateur	WER / CER	—	44,12 % / 16,26 %	Teste moko; bokeseni na Whisper eyebani te	oyo ekoki kosalelama
MMS 1B + adaptateur	WER oyo etyami na molɔngɔ, FLEURS	14,66 %	22,48 %	FLEURS ln_cd, 478 phrases lues : koyeba makambo mingi na likambo moko	oyo ekoki kosalelama
Qwen2-VL 2B + QLoRA	Bilembo ya sembo (CER)	—	88,7 % (11,3 %)	50 bandakisa ya komeka; bosikisiki ya makasi 28 %	oyo ekoki kosalelama
NLLB-Maloba-h1	BLUE, komeka ya kati	23,37	32,00	Maloba 79; p ≤ 0,001	oyo ekoki kosalelama
NLLB-Maloba-h1	BLEU, FLORES+	15,49	16,39	Maloba 1 012; p ≤ 0,001	oyo ekoki kosalelama
Llama 3.1 8B + QLoRA	ROUGE-L	0,1521	0,2379	964 bandakisa ya komeka	oyo ekoki kosalelama

Ba modèles ya moboko ya Whisper mpe Qwen2-VL ezali kobimisa Lingala ya malamu te: motángo na yango ekokani na mosusu te. WER ya Whisper oyo emekamaki na sanza ya mwambe (46,4% na V2) ezwami na esika ya E09 oyo emekami lisusu na test ya kozanga bosɔtɔ.

Boyebi ya mongongo: motango ya maloba ya libunga na test sans fuiteSoki elembo ezali mokuse, ekozala malamu koleka. Motindo ya moke ezali 95% ya confidentialité, oyo etángami na bootstrap na ba enregistrements 19 ya ekzame: ba intervalles ya Whisper oyo ebongisami mpe ya MMS oyo ebongisami ekokani mingi, bokeseni kati na yango mibale emonisami te.

Liziba : E09, botángi ya C oyo endimami · makambo

Talá makambo oyo ezali na graphique

Ndakisa	WER %	Esika ya 95%
Whisper Small, moboko	197,46	182,35 – 211,17
MMS 1B, moboko	58,21	55,61 – 60,59
Whisper + QLoRA	44,17	40,71 – 47,78
MMS + adapteur	44,12	41,32 – 47,04

Boyebi ya mongongo: motángo ya ekomeli ya mabeNa likambo ya caractère, adaptateur MMS ezali kosala malamu koleka Whisper oyo ebongisami malamu: mabunga na yango ezali moke mpe makambo oyo ebimaka ezali polele.

Liziba : E09, botángi ya C oyo endimami · makambo

Talá makambo oyo ezali na graphique

Ndakisa	CER %	Esika ya 95%
Whisper Small, moboko	104,32	94,84 – 113,24
MMS 1B, moboko	22,87	21,39 – 24,25
Whisper + QLoRA	18,95	16,90 – 20,77
MMS + adapteur	16,26	14,91 – 17,59

Ntalo ya boyokani ya kokomaEkomeli moko, etalelami na ndenge misato: na esika ya ebandeli (A), na esika ya boyokani (B), mpe na bisika mibale ya boyokani (C). Bokeseni kati na A mpe C ezali ndambo ya libunga oyo euti na ndakisa te kasi na bokeseni ya ekomeli.

Whisper + QLoRA

MMS + adapteur

MMS 1B, moboko

Liziba : E09 · makambo

Talá makambo oyo ezali na graphique

Ndakisa	A elembo ya ebandeli	B libandela ya boyokani	C nyonso mibale ekokani
Whisper + QLoRA	47,45 %	47,11 %	44,17 %
MMS + adapteur	47,35 %	44,84 %	44,12 %
MMS 1B, moboko	61,03 %	60,01 %	58,21 %

Na maloba oyo batangi, moboko ya MMS etikali malamuFLEURS ezali lisano ya maloba ya kotanga, mosika na baradio mpe na ba guichets oyo projet esangisaki. Adapteur yango etaleli mingi maloba ya elanga: yango ezali mayele ya elanga, kasi ya kozonga nsima te.

Liziba : E10, FLEURS ln_cd · makambo

Talá makambo oyo ezali na graphique

Ndakisa	WER oyo etyami na esika ya liboso %
Whisper Small, moboko	116,15
Whisper + QLoRA	39,39
MMS + adapteur	22,48
MMS 1B, moboko	14,66

E02 Baekzame ya statistiques mpe référence externe ya traduction

Bootstrap ekokani na milongo 1000, esembolami mpo na baekzamɛ mwambe. Esika ya ebandeli → h1 : +8,63 BLUE na +7,36 chrF na test ya kati, +0,91 BLUE mpe +1,78 chrF na FLORES+ (p ≤ 0,001 bisika nyonso). Passage h1 → h2 (4 700 paires ya masini ebakisami): lifuti moko te na test ya kati, bozongi ya monene na FLORES+: h2 eboyami. Reference Meta na FLORES devtest fra → lin : chrF++ 46,2 ebimisami, 46,44 emekama na CDS mpo na moboko, 48,31 mpo na h1.

Libongoli: Mbuma ya formasyo, eleko na elekoh1, epɛtolami na kati ya babalani 288 oyo bato babongoli, emati kino na eleko ya 4 mpe ekitaka lisusu: yango nde likambo oyo ebombami. h2, oyo ebakisi babalani 4 700 oyo esalemi na masini, ezali kokende liboso na oyo etali bandimbola na yango moko kasi ezali kozonga nsima na FLORES+: eboyamaki.

Liziba : F04, courbes de validation · makambo

Talá makambo oyo ezali na graphique

Molɔngɔ́	Elembo	chrF ya kondimisa
h1 — 288 paires humaines	époque 1	45,51
h1 — 288 paires humaines	époque 2	56,23
h1 — 288 paires humaines	époque 3	60,13
h1 — 288 paires humaines	époque 4	62,40
h1 — 288 paires humaines	époque 5	61,68
h2 — rejeté	pas 75	60,64
h2 — rejeté	pas 150	61,65
h2 — rejeté	pas 225	64,31
h2 — rejeté	pas 300	64,24
h2 — rejeté	pas 375	63,86

Libongoli: Modèle de base contre modèle affinéMbano endimami na référence ya libándá, FLORES+, kasi kaka na lisano ya komeka ya projet te. Bootstrap ekokani na milongo 1000, esembolami mpo na baekzamɛ mwambe.

Test interne — 79 phrases

FLORES+ devtest — 1 012 phrases

Liziba : E02, tests statistiques

Talá makambo oyo ezali na graphique

Lisano ya komeka	Ndenge ya kosala	Moboko	Esembolami	Bokeseni
Test interne — 79 phrases	BLEU	23,37	32,00	+8,63
Test interne — 79 phrases	chrF	54,38	61,74	+7,36
FLORES+ devtest — 1 012 phrases	BLEU	15,49	16,39	+0,90
FLORES+ devtest — 1 012 phrases	chrF	50,31	52,09	+1,78

Kondimisa ya moto

Batatoli misato oyo balobaka lingala, mituna misato, mobeko ya motángo oyo etyamaki liboso ya kampanye. Ekateli ya bato ebele (2 na 3); bangonga ya Wilson na 95%; boyokani oyo emonisami na alpha ya Krippendorff, ndelo ya 0,60 oyo etyamaki liboso. Biyano ebombami na CDS na nkombo ya lokuta. Note ya méthodologie ya validation (PDF) (fenêtre ya sika)

Oyo emonisamaki (E03 kino E08)
Ekateli oyo ezwamaki	Mbuma	Kotyelama motema
Corpus (310 échantillons, 930 jugements)	Sens préservé dans 96,5 % des cas ; 3 % seulement d'erreurs de fond	elembo boyokani moke na malamu to ndambo
Lecture de documents (25 images)	32 % parfaites, 92 % récupérables	oyo ekoki kosalelama accord suffisant (α 0,665)
Traduction (38 phrases)	66 % correctes, 97 % récupérables	elembo α 0,19 ; paire V1–V2 0,73
Reconnaissance vocale (25 segments)	16 % parfaits, 100 % récupérables	elembo α 0,26

Oyo ba validateurs misato bayanolaki, modèle na modèleEkateli ya bato ebele, bato mibale na kati ya bato misato. Kaka botángi ya mikanda nde ekokisaka ndelo ya boyokani ya 0,60 oyo etyamaki liboso ya kampanye: bilembo mosusu mibale ebimisami lokola bilembo.

Liziba : E06, E07, E08

Talá makambo oyo ezali na graphique

Ekateli oyo ezwamaki	Motángo ya basali	Ebongi	Na ndambo	Ebongi te	Boyokani α
tradNllb	38 phrases	66 %	32 %	2 %	0,190
docQwen	25 images	32 %	60 %	8 %	0,665
voixWhisper	25 segments	16 %	84 %	0 %	0,258

Boyokani kati na bavalide, campagne na campagneMotángo ya 0,60 etyamaki liboso ya kampanye. Kampanye moko kaka eleki yango: botángi ya mikanda. Boyokani ya makasi elingi koloba te ete makambo ezali mabe, kasi ete ndelo kati na malamu mpe ndambo malamu ezali ndenge moko te mpo na moto nyonso mingimingi mpo ete ekomeli ya lingala ezali ya kokangama te.

Liziba : E03 tii na E08

Talá makambo oyo ezali na graphique

Kampanye	Alfa ya Krippendorff
Corpus ASR (E03)	0,420
Corpus OCR (E04)	0,530
Corpus ya LLM (E05)	0,080
Mongongo (E06)	0,258
Mikanda (E07)	0,665
Libongoli (E08)	0,190

Ekomamaki na mikanda

Bandelo mpo na kokanga lopango

58,1 h ekomamaki mpe etalelamaki, na nse ya mokano ya sika ya 75 h mpe na nse ya katikati ya 80–100 h ya maloba ya référence.
Ekomeli ya lingala ezali ya kokangama te: bokeseni ezali pene na 5% ya WER na ba références.
Bokeseni kati na bakopi ya bato ezali 12%, yango nde bozindo oyo bamekaki.
Boyokani kati na bato oyo batambwisaka mosala etikali na nse ya 0,60 oyo etyamaki liboso ya basanza: mitángo ebimisami kaka mpo na kolakisa.
Masano ya komeka ezali na bakasɛti 19, bililingi 50 mpe maloba 79.
Motángo ya balobi ya polele ya V3.2 eyebani te.
Botali ya moto ya Llama 3.1 esalemaki te: mbongo epesamaki mpo na kobongola.

Ekomamaki na mikanda

Biloko oyo esalemi, longola oyo ekomamaki na makomi

Makomi ya Voice-a-thon Kolɔngɔnɔ ya nzoto: 11 Ba enregistrements, ngonga ya koloba ebimisami te.
Pene na 150 h ya bansinga ya magnétique ya Radio Rurale, ezanga numérique.
Corpus ekomi SIL Congo: 22 mikanda, 1 008 nkasa, oyo basalelaka mpo na kotánga mikanda mpe bapesaka yango te lokola makomi oyo balandaka.
1 282 Banzela ya OCR oyo eyokanisami, ebombami na libándá ya lisano ya masano oyo ebimisami.

Balapolo yakotalela

Ba évaluations E01 tii na E10, oyo ezwamaki na 29 sánzá ya libwa 2026. Baversions pseudonymisées : eyano moko te ya nominale ya validateur. Index ya ba évaluations (PDF) (fenêtre ya sika)

Makambo ya kotalela
Réf.	Kosala bolukiluki	Masano mpe mosala	Mbuma ya libosoliboso	Kotyelama motema	Lapolo	Mbongo ya ebende
E01	Mesures automatiques des modèles Automatique · Définitif ; WER ASR complété par E09	Tests internes ; FLORES+	ROUGE-L 0,2379 ; CER OCR 11,3 % ; BLEU 32,00	exploitable	PDF (fenêtre ya sika)	—
E02	Tests statistiques et référence externe de la traduction Automatique · Définitif	Test interne (79) ; FLORES+ devtest (1 012)	+8,63 BLEU et +0,91 sur FLORES+ (p ≤ 0,001) ; chrF++ de la base 46,44 contre 46,2 publié par Meta	exploitable	PDF (fenêtre ya sika)	—
E03	Validation humaine du corpus ASR Humaine, volet 1 · Accord faible (α 0,25 à 0,42)	88 segments	43 à 44 % correct ; 97 à 100 % correct ou partiel	indicatif	PDF (fenêtre ya sika)	1
E04	Validation humaine du corpus OCR Humaine, volet 1 · Accord faible (α 0,49 à 0,53)	91 images	Test : 84 % correct ; 96 % correct ou partiel	indicatif	PDF (fenêtre ya sika)	1
E05	Validation humaine du corpus LLM Humaine, volet 1 · Accord faible (α 0,08)	131 exemples	Test : 58 % correct ; 98 % correct ou partiel	indicatif	PDF (fenêtre ya sika)	1
E06	Évaluation humaine de Whisper affiné Humaine, volet 2 · Indicatif (α 0,26)	25 segments du test	16 % correct ; 100 % correct ou partiel	indicatif	PDF (fenêtre ya sika)	1
E07	Évaluation humaine de Qwen2-VL affiné Humaine, volet 2 · Exploitable (α 0,665)	25 images du test	32 % correct ; 92 % correct ou partiel	exploitable	PDF (fenêtre ya sika)	1
E08	Évaluation humaine de NLLB-Maloba-h1 Humaine, volet 2 · Indicatif (α 0,19 ; paire V1–V2 0,73)	38 phrases du test	66 % correct ; 97 % correct ou partiel	indicatif	PDF (fenêtre ya sika)	1
E09	Remesure ASR sans fuite (V3.2) Automatique · Définitif	Test V3.2 (1 797 segments, 19 enregistrements)	WER 44,12 % (MMS affiné) et 44,17 % (Whisper affiné) ; CER 16,26 % et 18,95 %	exploitable	PDF (fenêtre ya sika)	10
E10	MMS affiné : FLEURS et évaluation humaine Automatique et humaine · FLEURS définitif ; humain en cours	FLEURS (478 phrases) ; 25 segments × 2 modèles	FLEURS : WER 22,48 % (MMS d'origine 14,66 %) : spécialisation de domaine	indicatif	PDF (fenêtre ya sika)	5

Balapolo yakosala ngalasisi

Entraînements F01 à F05 : données, configuration complète, courbes, point retenu, résultat officiel, défauts connus. Index ya mateya (PDF) (fenêtre ya sika)

Formasyo
Réf.	Ndakisa	Mayele ya kosala	Makambo	Mbuma ya Leta	Lapolo	Mbongo ya ebende
F01	Llama 3.1 8B Instruct, QLoRA	QLoRA, rang 16	5 700 exemples Alpaca, 5 registres	ROUGE-L 0,2379 (base 0,1521)	PDF (fenêtre ya sika)	2
F02	Whisper Small, QLoRA	QLoRA 4 bits NF4, rang 32	train V2, augmentation figée	WER 44,17 % sur V3.2 (E09)	PDF (fenêtre ya sika)	3
F03	Qwen2-VL 2B Instruct, QLoRA	QLoRA, rang 32, 4 jetons ajoutés	417 exemples image–texte	88,7 % au caractère (CER 11,3 %)	PDF (fenêtre ya sika)	2
F04	NLLB-200 distilled 1.3B, affinage complet	Affinage complet	288 paires humaines	BLEU 32,00 ; FLORES+ 16,39	PDF (fenêtre ya sika)	14
F05	MMS 1B, adaptateur de langue	Adaptateur de langue, 0,23 % des paramètres	train V3.2, 47,79 h	WER 44,12 %, CER 16,26 % sur V3.2	PDF (fenêtre ya sika)	4

Ba livrables ya boyokani (L3, L4, L5) etyamaka te na site oyo.

Biloko mpe bazulunalo

Yango ebimisaki mbuma nyonso: ba journaux ya misala, ba scores ya makasi, ba courbes d'entraînement, ba extraits de publication mpe biyano ya ba validateurs. Biyano bizali na bankombo ya lokuta: bankombo to ba coordonnées ya moto moko te epesami.

E03Validation humaine du corpus ASR1 pièce