PDF를 텍스트로 변환

가장 단순한 추출 방식은 pdf.js가 돌려주는 조각들을 그대로 이어 붙이는 것입니다. 한 줄이면 되고 결과도 거의 맞아 보입니다. 그래서 많은 도구가 그렇게 합니다. 두 쪽짜리 세금 서식에서 그 방식은 76곳의 줄바꿈에서 단어를 붙여 버렸습니다. 논문 여덟 쪽에서는 293곳이었습니다. "permission toreproduce", "neural networksin particular" 같은 것이 문서 곳곳에 흩어지고, 쓰기 전에 반드시 눈에 띈다는 보장도 없습니다.

더 깊은 문제는 순서입니다. PDF는 글자를 쪽에 그리는 순서로 저장하는데, 그것은 읽는 순서가 아닙니다. 서식에서는 구분 기호가 마지막에 그려지는 탓에 날짜 칸이 "MM DD YYYY/ /"로 나오기도 합니다. 2단 쪽에서는 두 단이 한 줄씩 번갈아 섞입니다. PDF 뷰어에서 한 쪽을 통째로 선택해 붙여 넣을 때 벌어지는 일이 정확히 이것입니다. 저희는 문자가 실제로 놓인 위치에서 읽는 순서를 다시 세웁니다. 그래서 "MM / DD / YYYY"가 돌아오고 각 단도 온전히 남습니다.

그리고 통째로 놓치기 쉬운 것들이 있습니다. PDF 서식에 내용을 채웠다면 그 답은 쪽의 본문에 한 글자도 들어 있지 않습니다. 양식 필드 쪽에 있기 때문에, 쪽만 읽는 추출기는 빈 서식을 건네면서도 잘 작동한 것처럼 보입니다. 저희는 그것까지 모아 끝에 붙입니다. 또 일부 PDF 생성기는 맞아 보이지만 실제로는 다른 문자를 내보냅니다. 중국어 문서가 강희부수로 가득 차기도 하는데, 화면에서는 구분되지 않고 검색에도 걸리지 않습니다. 저희가 건네는 모든 문자열은 정규화를 거쳐 원래 문자로 되돌아갑니다.