Maloba

Tradução francês → lingala

NLLB-Maloba-h1

Traduzir uma instrução, um documento administrativo ou uma mensagem do francês para o lingala.

ModeloRelatório de treino F04
O modelo de tradução do projeto. 288 pares traduzidos por humanos bastaram para ganhar 8,6 pontos de BLEU; acrescentar 4 700 pares feitos por máquina não trouxe nada. A lição vale para toda a comunidade: são as traduções humanas que fazem progredir o lingala.

Resultado

BLEU 32,00 contre 23,37 pour la base. Source : E01, E02. Voir la page Résultats.

Mesures automatiques (E01, E02)
MesureValeur
BLEU, test interne32,00
BLEU, modèle de base23,37
BLEU, FLORES+16,39
BLEU FLORES+, modèle de base15,49
Significativitép ≤ 0,001

Jugement humain (trois validateurs) : 66 % de sorties correctes à la majorité, 97 % correctes ou récupérables ; accord α 0,19 : indicatif.

As medições, em gráfico

Modelo de base contra modelo afinado — Test interne — 79 phrasesConjunto de teste do projeto, 79 frases, nunca vistas no treino.
BLEU23,3732,00+8,63 · p ≤ 0,001chrF54,3861,74+7,36 · p ≤ 0,001Modèle de baseModèle affiné Maloba

Fonte : E02, bootstrap apparié de 1 000 tirages

Ver os dados do gráfico
MedidaBaseAfinadoDiferençap
BLEU23,3732,00+8,63≤ 0,001
chrF54,3861,74+7,36≤ 0,001
Modelo de base contra modelo afinado — FLORES+ devtest — 1 012 phrasesO FLORES+ é uma referência externa de 1 012 frases, independente do projeto: o ganho não é um efeito do conjunto de teste interno.
BLEU15,4916,39+0,90 · p ≤ 0,001chrF50,3152,09+1,78 · p ≤ 0,001Modèle de baseModèle affiné Maloba

Fonte : E02, bootstrap apparié de 1 000 tirages

Ver os dados do gráfico
MedidaBaseAfinadoDiferençap
BLEU15,4916,39+0,90≤ 0,001
chrF50,3152,09+1,78≤ 0,001
O treino, época a épocaO h1 sobe até à época 4 e depois desce: foi esse o ponto retido.
40506070chrFépoque12345h1 — 288 pares humanos

Fonte : F04, courbe de validation · dados

Ver os dados do gráfico
ÉpocachrF de validação
145,51
256,23
360,13
462,40
561,68
A versão rejeitada: mais 4 700 pares de máquinaO h2 progride na sua própria validação mas recua de forma significativa em FLORES+. Foi posto de lado. É o resultado mais útil do projeto sobre a tradução.
55606570chrFpas75150225300375h2 — 4 700 pares de máquina acrescentados (rejeitado)

Fonte : F04, courbe de validation h2 · dados

Ver os dados do gráfico
PassochrF de validação
7560,64
15061,65
22564,31
30064,24
37563,86

O que faz bem, o que faz mal

O que faz bem

  • BLEU 32,00 contra 23,37 do modelo de base no teste interno; ganho significativo (p ≤ 0,001).
  • Ganho confirmado no FLORES+ (16,39 contra 15,49), a referência externa de 1 012 frases.
  • 66 % de traduções consideradas corretas, 97 % recuperáveis.

O que faz mal

  • Juízo humano apenas indicativo: acordo fraco entre validadores (α 0,19).
  • Entradas limitadas a 256 tokens: não serve para textos longos.
  • Licença CC-BY-NC 4.0 herdada do NLLB-200: nenhum uso comercial.

Como foi construído

Socle facebook/nllb-200-distilled-1.3B, adapté par affinage complet sur 288 paires humaines. Données : 288 paires humaines. Détail dans le rapport F04.

Licença

CC-BY-NC-4.0 : não comercial. Un modèle garde la licence de son modèle de base, quelle que soit celle des données d'entraînement. Gouvernance des données.