Maloba

Lecture de documents (OCR)

Qwen2-VL 2B + QLoRA

Lire un document lingala photographié, imprimé ou manuscrit, et en extraire le texte.

Poids fusionnésAdaptateursRapport d'entraînement F03

Résultat

88,7 % de caractères justes (CER 11,3 %) sur 50 exemples de test. Source : E01. Voir la page Résultats.

Mesures automatiques (E01)
MesureValeur
Caractères justes88,7 %
CER (caractères erronés)11,30 %
Exactitude stricte28,0 %

Jugement humain (trois validateurs) : 32 % de sorties correctes à la majorité, 92 % correctes ou récupérables ; accord α 0,665 : exploitable.

Les mesures, en graphique

Lecture de documents : trois façons de compterLa précision au caractère dit combien de lettres sont justes ; l'exactitude stricte ne compte que les lignes parfaites d'un bout à l'autre ; la validation humaine juge le sens.
0255075100Caractères justes88,7 %Sorties récupérables (humain)92,0 %Exactitude stricte28,0 %

Source : E01, E07

Voir les données du graphique
MesureValeur %
Caractères justes88,7
Sorties récupérables (humain)92,0
Exactitude stricte28,0

Ce qu'il fait bien, ce qu'il fait mal

Ce qu'il fait bien

  • 88,7 % de caractères justes ; 92 % des sorties jugées récupérables par les validateurs humains.
  • Le seul résultat humain avec un accord suffisant entre validateurs (α 0,665) : exploitable.
  • Licence Apache 2.0 : utilisable commercialement.

Ce qu'il fait mal

  • Exactitude stricte de 28 % : une ligne sur quatre seulement est parfaite d'un bout à l'autre.
  • Jeu de test petit (50 exemples) et images de qualité inégale.
  • Manuscrits plus difficiles que l'imprimé.

Comment il a été construit

Socle Qwen/Qwen2-VL-2B-Instruct, adapté par qLoRA, LoRA rang 32, jetons ɔ ɛ Ɔ Ɛ ajoutés. Données : 417 exemples image–texte. Détail dans le rapport F03.

Licence

Apache-2.0 : utilisable commercialement. Un modèle garde la licence de son modèle de base, quelle que soit celle des données d'entraînement. Gouvernance des données.