✦Bancs d'essai
Plume face à Adobe, FFDNet et Google, sur 100 formulaires officiels
Chaque formulaire en trois versions : le PDF d'origine, un scan, une photo. Pour chacun, la vérité, ce sont les champs que l'administration a posés elle-même dans son formulaire remplissable — puis revus à l'œil, page par page, parce qu'ils ne sont pas toujours justes.
En bref, avec pour vérité les champs que l'administration a posés elle-même, note « structure » sur 100 — PDF d'origine : PlumeAI Vision 96,5, FFDNet-L 82,8, Adobe Acrobat 81,8, Google Document AI 36,1 ; scan : PlumeAI Vision 96,6, Adobe Acrobat 78,1, FFDNet-L 71,1, Google Document AI 35,3 ; photo : PlumeAI Vision 95,0, Adobe Acrobat 67,6, FFDNet-L 58,3, Google Document AI 33,2.
La détection des champs
Les champs que l'administration a posés elle-même dans son formulaire remplissable, page par page, après un tri à l'œil (100 pages justes sur 182 regardées).
La note « structure » est la plus exigeante : un champ ne compte que s'il est au bon endroit ET découpé comme il faut — une date en cases a ses huit cases, une case à cocher est une case, un cadre est un cadre.
| Outil | PDF d'origine | Scans | Photos |
|---|---|---|---|
| PlumeAI Vision | 96,595 % des champs retrouvés | 96,697 % des champs retrouvés | 95,097 % des champs retrouvés |
| Adobe Acrobat | 81,887 % des champs retrouvés | 78,182 % des champs retrouvés | 67,668 % des champs retrouvés |
| FFDNet-L (libre) | 82,891 % des champs retrouvés | 71,173 % des champs retrouvés | 58,353 % des champs retrouvés |
| Google Document AI | 36,123 % des champs retrouvés | 35,323 % des champs retrouvés | 33,221 % des champs retrouvés |
Essayer la détection de PlumeAI sur votre PDF, scan ou photo →
Les rendus, côte à côte
Quand les champs de l'administration se trompent
Formulaire 2665-SD, « Compte » : l'administration a découpé le tableau en huit rangées que rien ne dessine sur la page. Plume pose un champ par colonne, sur les cadres qu'on voit — c'est son rendu qui fait la vérité de cette page.
Les cases à saisie de caractère, une par une
Une page faite de montants en cases. Plume retrouve chaque peigne avec son nombre de cases (note « structure » : 100). Adobe, FFDNet et Google posent des zones sans leurs cases, ou rien : 11, 11 et 13.
Un cadre que l'administration avait oublié
« Observations éventuelles » : Plume pose aussi le cadre du cachet du service, que le formulaire officiel oubliait. Le juge automatique le comptait faux — à l'œil, c'est Plume qui a raison.
La méthode
- Les pages : 100 pages de formulaires publics français, tirées au hasard parmi les formulaires officiels remplissables — ceux où l'administration a posé ses propres champs — que Plume n'avait jamais étudiés. On n'a gardé que les pages dont les champs officiels sont justes à l'œil : 44 au premier tri, puis 56 pages jamais vues, triées avec les mêmes règles (182 regardées en tout).
- Les trois versions : le PDF d'origine, sans ses champs ; un scan et une photo fabriqués à partir de lui — légère rotation, grain et teinte de papier pour le scan ; perspective, ombre et fond de table pour la photo. Toujours les mêmes, d'un essai à l'autre.
- Les outils, chacun dans son réglage réel : Plume (la chaîne du site, IA de détection gpt-6-luna) ; Adobe Acrobat en ligne, « Placer automatiquement les champs », relevé sur l'écran ; FFDNet-L, le détecteur libre de référence ; Google Document AI (Form Parser).
- La note : les champs de chaque outil sont ramenés sur la page d'origine, point par point, puis comparés aux champs de la vérité par le même juge automatique, pour tous. Adobe reçoit en plus le bénéfice du doute : une boîte que notre relevé de l'écran aurait comptée deux fois est retirée.
- Les deux vérités. Celle de l'administration : les champs qu'elle a posés elle-même, sans retouche ; c'est la note montrée d'abord. Celle revue à l'œil par le fondateur de Plume : sur 93 pages sur 100, il a jugé le rendu de Plume meilleur que les champs de l'administration ou égal, et c'est ce rendu qui y sert de référence, pour Plume comme pour les autres outils ; Plume y part donc avec un avantage. Sur les 7 autres pages, les champs de l'administration restent la vérité.
Ce que ce banc ne dit pas
- La vérité a été revue par une seule personne, le fondateur de Plume : c'est pourquoi les deux vérités sont publiées, la sienne et celle de l'administration.
- Les scans et les photos sont fabriqués à partir des PDF, pas tirés d'un vrai scanner ni d'un vrai téléphone.
- Les formulaires sont français ; l'écriture manuscrite n'est pas jugée.
- Une page d'origine n'a pas de note : Adobe a refusé de l'ouvrir (« fichier probablement corrompu »).
La lecture du texte (OCR) →
L'autre banc : PlumeAI OCR face aux autres lecteurs, sur des formulaires officiels jamais vus — le texte de chaque page lu mot à mot, en PDF, en scan et en photo.