PDF in testo

Il modo ingenuo di estrarre è prendere l'elenco dei frammenti che pdf.js restituisce e unirli e basta. È una riga di codice e produce qualcosa che sembra quasi giusto, ed è per questo che tanti strumenti fanno così. Su un modulo fiscale di due pagine quell'approccio incolla le parole attraverso settantasei a capo. Su otto pagine di un articolo scientifico, duecentonovantatré. Vengono fuori cose come «permission toreproduce» e «neural networksin particular», sparse nel documento dove non è detto che le noti prima di usare il testo.

Il problema più profondo è l'ordine. Un PDF memorizza il testo nell'ordine in cui viene dipinto sulla pagina, che non è l'ordine in cui lo leggi. In un modulo, un campo data può uscire come «MM DD YYYY/ /» perché i separatori vengono disegnati per ultimi. In una pagina a due colonne le due colonne si intrecciano una riga alla volta, che è esattamente quello che succede quando selezioni una pagina intera in un lettore PDF e la incolli altrove. Noi ricostruiamo l'ordine di lettura da dove i caratteri stanno davvero, e così torna «MM / DD / YYYY» e ogni colonna resta intera.

Poi ci sono le cose che è facile perdere del tutto. Se hai compilato un modulo PDF, nessuna delle tue risposte è nel testo della pagina: vivono nei campi modulo, e un estrattore che legge solo la pagina ti consegna un modello vuoto con tutta l'aria di aver funzionato. Noi li raccogliamo e li aggiungiamo in fondo. Inoltre alcuni generatori di PDF emettono caratteri che sembrano giusti e non lo sono: un documento cinese può uscire pieno di radicali Kangxi, indistinguibili sullo schermo, invisibili a una ricerca, sbagliati una volta incollati. Ogni stringa che consegniamo viene normalizzata perché torni ai caratteri che rappresenta.