Maloba

Dados

Os corpora, e a quem pertencem

Os corpora Maloba são construídos a partir de fontes identificadas (rádios rurais, Voice-a-thons, acervo da SIL Congo), transcritos por anotadores formados e depois harmonizados por um programa determinista: nenhuma frase é reescrita por uma máquina. O texto de origem é sempre conservado ao lado do texto harmonizado.

Licença e governação

Quatro corpora de referência

O mesmo modelo para cada um: conteúdo, construção, números, acesso, licença, limites, citação.

Ortografia: o que faz a harmonização

O lingala escreve-se de várias maneiras. Nos corpora, as mesmas palavras apareciam sob 600 grafias concorrentes. A harmonização, automática e determinista, reduz-as a 290, sem nunca reescrever uma frase:

  1. Os sósias Unicode são corrigidos (ε → ɛ, ↄ e ᴐ → ɔ, ο grego → o) e o texto é depois normalizado.
  2. As marcas de tom são retiradas.
  3. As regras do guia de escrita são aplicadas.
  4. Cada palavra assume a grafia maioritária de ɔ e ɛ nos corpora Maloba, segundo um léxico fixo.
  5. As palavras francesas de um vocabulário protegido e as etiquetas não lexicais ficam intactas.

Só por si, a variação ortográfica pesa cerca de 5 % da taxa de palavras erradas nas referências de teste. O módulo é publicado com o corpus e reproduz exatamente a coluna harmonizada. Ver o guia em Recursos.

Versões do corpus de fala

  1. V2Reconstrução a partir do serviço de anotação: áudio reextraído sem perdas, impressão digital por segmento. Versão de treino do Whisper.
  2. V3Desduplicação sobre a impressão digital do áudio; partições feitas sem nenhum áudio partilhado entre treino, validação e teste.
  3. V3.1Transcrições harmonizadas segundo a convenção de escrita Maloba, ao lado do texto de origem.
  4. V3.2Versão de referênciaSósia Unicode ͻ (U+037B) reposto em ɔ (115 ocorrências). Versão de referência.

Números do corpus de fala V3.2

  • 18 767 segmentos, 58,13 h, 210 gravações de origem.
  • Treino 15 175 · validação 1 795 · teste 1 797.
  • Acervo de origem: os arquivos digitais da Radio Rurale. Cerca de 150 h de fitas magnéticas não estão digitalizadas.

A cadeia de leitura de documentos, em números

1 747 regiões de texto lidas em 117 tarefas de anotação, das quais 1 323 transcrições únicas validadas e 1 282 linhas harmonizadas. O conjunto de treino publicado retém 417 e 50 para o teste.

Limites no encerramento

O corpus está fixado a 30 de setembro de 2026. O que se segue é constatado, quantificado, e não exige seguimento.

Documenté

O que está medido, e o que não está

  • 58,1 h anotadas e verificadas, abaixo do intervalo de 80–100 h dos termos de referência.
  • O número de locutores distintos do corpus V3.2 não está estabelecido.
  • O acordo entre validadores humanos mantém-se abaixo do limiar de 0,60 fixado antes das campanhas: as taxas são publicadas a título indicativo.
  • As recolhas de Impfondo e de Talangaï não foram realizadas.
Documenté

Recursos constituídos, fora do corpus anotado

  • Voice-a-thon Saúde: 11 gravações junto de 10 pessoas. Nenhuma duração de fala é publicada.
  • Cerca de 150 h de fitas magnéticas da Radio Rurale, não digitalizadas.
  • Corpus escrito SIL Congo: 22 documentos, 1 008 páginas. Serviram para a leitura de documentos; não são divulgados em texto corrido.

Divulgação: três conjuntos foram submetidos, a aguardar validação, na Mozilla Data Collective.

Versões anteriores

Conservadas para que os primeiros treinos continuem reproduzíveis. Preferir as versões de referência.