Document reading (OCR)
Qwen2-VL 2B + QLoRA
Read a photographed Lingala document, printed or handwritten, and extract its text.
Result
88,7 % de caractères justes (CER 11,3 %) on 50 test examples. Source : E01. Voir la page Résultats.
| Mesure | Valeur |
|---|---|
| Caractères justes | 88,7 % |
| CER (caractères erronés) | 11,30 % |
| Exactitude stricte | 28,0 % |
Jugement humain (trois validateurs) : 32 % de sorties correctes à la majorité, 92 % correctes ou récupérables ; accord α 0,665 : exploitable.
The measurements, as charts
Source : E01, E07
Show the chart data
| Measure | Value % |
|---|---|
| Correct characters | 88,7 |
| Recoverable outputs (human) | 92,0 |
| Strict accuracy | 28,0 |
What it does well, what it does badly
What it does well
- 88.7 % correct characters; 92 % of outputs judged recoverable by the human validators.
- The only human result with sufficient agreement between validators (α 0.665): usable.
- Apache 2.0 licence: usable commercially.
What it does badly
- Strict accuracy of 28 %: only one line in four is perfect end to end.
- Small test set (50 examples) and images of uneven quality.
- Handwriting is harder than print.
How it was built
Socle Qwen/Qwen2-VL-2B-Instruct, adapté par qLoRA, LoRA rang 32, jetons ɔ ɛ Ɔ Ɛ ajoutés. Données : 417 exemples image–texte. Détail dans le rapport F03.
Licence
Apache-2.0 : usable commercially. Un modèle garde la licence de son modèle de base, quelle que soit celle des données d'entraînement. Gouvernance des données.