Maloba

Données

Les corpus, et à qui ils appartiennent

Les corpus Maloba sont construits à partir de sources identifiées (radios rurales, Voice-a-thons, fonds SIL Congo), transcrits par des annotateurs formés, puis harmonisés par un programme déterministe : aucune phrase n'est réécrite par une machine. Le texte d'origine est toujours conservé à côté du texte harmonisé.

Licence et gouvernance

Quatre corpus de référence

Même gabarit pour chacun : contenu, construction, chiffres, accès, licence, limites, citation.

Orthographe : ce que fait l'harmonisation

Le lingala s'écrit de plusieurs façons. Dans les corpus, les mêmes mots apparaissaient sous 600 graphies concurrentes. L'harmonisation, automatique et déterministe, les ramène à 290, sans jamais réécrire une phrase :

  1. Les sosies Unicode sont corrigés (ε → ɛ, ↄ et ᴐ → ɔ, ο grec → o), puis le texte est normalisé.
  2. Les marques de ton sont retirées.
  3. Les règles du guide d'écriture sont appliquées.
  4. Chaque mot prend la graphie majoritaire de ɔ et ɛ dans les corpus Maloba, d'après un lexique figé.
  5. Les mots français d'un vocabulaire protégé et les balises non lexicales sont laissés intacts.

À elle seule, la variation d'orthographe pèse environ 5 % de taux de mots erronés sur les références de test. Le module est publié avec le corpus et reproduit exactement la colonne harmonisée. Voir le guide dans Ressources.

Versions du corpus audio

  1. V2Reconstruction depuis le service d'annotation : audio ré-extrait sans perte, empreinte par segment. Version d'entraînement de Whisper.
  2. V3Dédoublonnage sur l'empreinte audio ; partitions retirées sans aucun audio partagé entre train, validation et test.
  3. V3.1Transcriptions harmonisées selon la convention d'écriture Maloba, à côté du texte d'origine.
  4. V3.2Version de référenceSosie Unicode ͻ (U+037B) ramené à ɔ (115 occurrences). Version de référence.

Chiffres du corpus audio V3.2

  • 18 767 segments, 58,13 h, 210 enregistrements sources.
  • Entraînement 15 175 · validation 1 795 · test 1 797.
  • Fonds d'origine : les archives numériques de Radio Rurale. Environ 150 h de bandes magnétiques ne sont pas numérisées.

La chaîne de lecture de documents, en chiffres

1 747 régions de texte lues dans 117 tâches d'annotation, dont 1 323 transcriptions uniques validées et 1 282 lignes harmonisées. Le jeu d'entraînement publié en retient 417, et 50 pour le test.

Limites à la clôture

Le corpus est arrêté au 30 septembre 2026. Ce qui suit est constaté, chiffré, et n'appelle pas de suite.

Documenté

Ce qui est mesuré, et ce qui ne l'est pas

  • 58,1 h annotées et vérifiées, sous la fourchette de 80–100 h des termes de référence.
  • Le nombre de locuteurs distincts du corpus V3.2 n'est pas établi.
  • L'accord entre validateurs humains reste sous le seuil de 0,60 fixé avant les campagnes : les taux sont publiés à titre indicatif.
  • Les collectes d'Impfondo et de Talangaï n'ont pas été réalisées.
Documenté

Ressources constituées, hors du corpus annoté

  • Voice-a-thon Santé : 11 enregistrements auprès de 10 personnes. Aucune durée de parole n'est publiée.
  • Environ 150 h de bandes magnétiques de Radio Rurale, non numérisées.
  • Corpus écrit SIL Congo : 22 documents, 1 008 pages. Ils ont servi à la lecture de documents ; ils ne sont pas diffusés en texte suivi.

Diffusion : trois jeux sont soumis, en attente de validation, sur Mozilla Data Collective.

Versions historiques

Conservées pour la reproductibilité des premiers entraînements. Préférer les versions de référence.