LabHub

블로그

OCR을 넘어서 — OCR-free 문서 이해와 통합 모델

2026-06-26 · 40 분 읽기 · #ai-papers#ocr-free#document-understanding#multimodal#donut#vision-language-model

한국어English日本語中文

들어가며: 왜 OCR을 넘어서려 하는가

영수증의 총액을 뽑고, 계약서의 항목을 추출하고, 차트를 표로 바꾸는 일. 이런 문서 이해 작업은 오랫동안 OCR(광학 문자 인식)을 토대로 이루어졌습니다. 그런데 OCR은 글자를 읽는 데까지만 잘하고, 그 글자가 무엇을 의미하는지, 어떤 칸에 속하는지까지는 알려 주지 않습니다.

그래서 전통적인 문서 처리는 여러 단계를 사슬처럼 이어 붙입니다. 글자가 어디 있는지 검출하고, 그 글자가 무엇인지 인식하고, 페이지의 레이아웃을 분석하고, 마지막에 의미를 해석합니다. 단계가 많을수록 한 곳의 오류가 다음 단계로 번지는 누적 오류 문제가 생깁니다.

최근에는 이 사슬을 통째로 모델 하나가 대신하는 OCR-free 접근이 떠올랐습니다. 이미지를 입력으로 받아 곧장 우리가 원하는 답(텍스트, 키-값, 표)을 내놓는 것입니다. 이 글에서는 전통 파이프라인의 한계, OCR-free 엔드투엔드 모델, 그리고 검출-인식-파싱을 하나로 묶는 통합 모델의 흐름을 정리합니다.

OCR과 문서 이해는 다르다

먼저 용어를 분명히 합시다. OCR은 이미지에서 글자를 텍스트로 옮기는 일입니다. 문서 이해는 그 텍스트가 어떤 구조와 의미를 갖는지 파악하는 일입니다. 둘은 다른 단계이며, 전통 시스템은 이를 분리해 처리했습니다.

OCR:        이미지 -> "총액 32,500"  (글자를 텍스트로)
문서 이해:   "총액 32,500" + 위치/맥락 -> {필드: 총액, 값: 32500}  (의미 부여)

OCR-free 접근의 핵심 주장은, 이 둘을 굳이 분리할 필요가 없다는 것입니다. 한 모델이 이미지를 보면서 글자와 의미를 동시에 파악하면, 중간 텍스트를 거치며 잃어버리는 정보(위치, 글꼴, 레이아웃 맥락)를 살릴 수 있습니다. 사람이 영수증을 볼 때 글자를 일일이 읽고 따로 의미를 붙이지 않는 것과 비슷합니다.

핵심 원리: 전통 OCR 파이프라인과 그 한계

전통적인 문서 이해 파이프라인은 보통 다음 단계로 구성됩니다.

[문서 이미지]
   |
   v
[1. 텍스트 검출] --> 글자/단어 영역의 박스 찾기
   |
   v
[2. 텍스트 인식] --> 각 박스 안의 글자를 문자열로
   |
   v
[3. 레이아웃 분석] --> 제목/본문/표/셀 구조 파악
   |
   v
[4. 정보 추출] --> 키-값, 표, 의미 해석

각 단계는 보통 별도의 모델이며, 따로 학습되고 따로 튜닝됩니다. 이 구조에는 분명한 한계가 있습니다.

이 한계들이 OCR-free 접근의 동기가 됩니다. 단계를 줄이면 누적 오류가 줄고, 한 모델이 글자와 의미를 함께 보면 문맥 보정이 가능해집니다.

깊이 보기 1: OCR-free 엔드투엔드 문서 이해

Donut류: OCR 없이 이미지에서 바로 구조화 출력

Donut(Document Understanding Transformer)은 OCR 단계를 아예 없애고, 문서 이미지를 입력받아 곧장 구조화된 출력(예: JSON)을 생성하는 접근을 제시했습니다. 비전 인코더가 이미지를 읽고, 텍스트 디코더가 우리가 원하는 결과를 자기회귀적으로 생성합니다.

[문서 이미지]
   |
   v
[비전 인코더] --> 이미지 특징 시퀀스
   |
   v
[텍스트 디코더] --> 구조화 출력 (예: JSON 키-값)

이 방식의 강점은 명확합니다. 별도의 OCR 박스 검출이나 인식 모델이 필요 없고, 모델이 글자 모양과 의미를 한꺼번에 학습합니다. 추출하고 싶은 정보의 형식대로 정답을 만들어 학습하면, 모델이 그 형식으로 직접 답을 냅니다. 누적 오류가 사라지고 파이프라인이 단순해집니다.

다만 트레이드오프도 있습니다. 명시적 OCR이 없으므로 정답 형식과 충분한 데이터에 크게 의존합니다. 또 디코더가 긴 출력을 생성해야 하는 경우 속도가 문제될 수 있습니다.

VLM 기반 문서 이해

앞선 글에서 다룬 비전-언어 모델(VLM)은 본질적으로 OCR-free 문서 이해 능력을 갖춥니다. 이미지를 비주얼 토큰으로 바꾸고 LLM이 그것을 텍스트와 함께 읽으므로, 문서 이미지를 받아 질문에 답하거나 표를 추출할 수 있습니다.

[문서 이미지] --> [VLM] --> "총액은 얼마?" 같은 질문에 자연어로 답
                       --> 표를 마크다운/JSON으로 구조화
                       --> 특정 필드의 위치(좌표)까지 지목

VLM의 장점은 범용성입니다. 같은 모델 하나로 캡션, VQA, OCR, grounding을 모두 다루며, 자연어 지시로 원하는 출력을 유연하게 받을 수 있습니다. 강력한 언어 능력 덕에 흐릿하거나 일부 가려진 글자도 문맥으로 추론하는 경향이 있습니다.

깊이 보기 2: 고해상도, 레이아웃, 표, 수식

문서는 자연 이미지와 다릅니다. 작은 글자가 빼곡하고, 표와 수식 같은 구조가 많습니다. 이를 제대로 다루려면 몇 가지 장치가 필요합니다.

고해상도 처리

문서의 작은 글자를 읽으려면 충분한 해상도가 필요합니다. 이미지를 작게 강제 리사이즈하면 글자가 뭉개집니다. 그래서 OCR-free 모델은 고해상도 입력을 다루는 전략을 씁니다.

고해상도 문서 처리 전략
방법 A: 타일링      큰 페이지 -> 여러 타일 -> 개별 처리 -> 통합
방법 B: 동적 해상도  원본 비율 유지 -> 크기에 비례하는 토큰 수

해상도를 올릴수록 디테일은 좋아지지만 토큰 수와 비용이 늘어납니다. 이 균형이 문서 모델 설계의 핵심입니다.

레이아웃, 표, 수식

이런 구조적 요소는 정답 데이터의 형식이 곧 모델 출력 형식을 결정하므로, 일관된 구조화 정답을 준비하는 것이 중요합니다.

깊이 보기 3: 다국어 OCR와 통합 모델

다국어 OCR

문서는 여러 언어로 작성됩니다. 전통 OCR은 언어마다 별도 인식 모델이나 사전을 두는 경우가 많았지만, OCR-free VLM은 다양한 언어의 이미지-텍스트 데이터를 함께 학습해 한 모델로 여러 언어를 다룰 수 있습니다. 라틴 문자뿐 아니라 한중일 같은 표의문자, 우향/좌향 문자까지 폭넓게 다루려는 노력이 이어지고 있습니다. 다만 학습 데이터가 적은 언어나 희귀 글꼴에서는 여전히 정확도가 떨어질 수 있으므로, 대상 언어 분포에 맞춘 데이터 보강이 중요합니다.

통합 모델: 검출-인식-파싱을 하나로

최근 흐름은 검출, 인식, 레이아웃 분석, 정보 추출을 하나의 모델로 일원화하는 통합 모델입니다. 전통 파이프라인이 단계마다 모델을 두던 것을, 단일 인코더-디코더가 한꺼번에 처리합니다.

전통 파이프라인:  검출 모델 -> 인식 모델 -> 레이아웃 모델 -> 추출 모델
통합 모델:        단일 모델 -> (검출 + 인식 + 레이아웃 + 파싱) 동시에

깊이 보기 3.5: 읽기 순서와 레이아웃의 어려움

문서를 이해할 때 자주 간과되는 어려움이 읽기 순서입니다. 사람은 다단 편집의 신문을 보면 왼쪽 단을 위에서 아래로 읽고 그다음 오른쪽 단으로 넘어가는 것을 자연스럽게 압니다. 하지만 모델에게는 이것이 자명하지 않습니다.

다단 레이아웃 예시
  +------------------+------------------+
  | 단1 첫 문단       | 단2 첫 문단       |
  | 단1 둘째 문단     | 단2 둘째 문단     |
  +------------------+------------------+

  올바른 읽기 순서: 단1 전체 -> 단2 전체
  잘못된 순서:      행 단위로 좌우 번갈아 읽기 (의미 깨짐)

전통 파이프라인은 레이아웃 분석 단계에서 이 순서를 명시적으로 계산했습니다. OCR-free 모델은 이를 학습으로 익혀야 하므로, 다양한 레이아웃의 데이터로 충분히 학습되지 않으면 읽기 순서가 흐트러질 수 있습니다. 표, 각주, 사이드바, 캡션이 섞이면 난이도가 더 올라갑니다.

이 문제는 출력 형식 설계로 일부 완화됩니다. 예를 들어 영역별로 구조화해 출력하도록 학습하면, 모델이 영역 경계를 의식하며 순서를 더 잘 잡습니다. 핵심은 모델이 읽기 순서를 일관되게 내는지 검증 데이터로 확인하는 것입니다.

깊이 보기 3.6: 표를 구조화하는 구체적 방법

표는 문서 이해에서 가장 까다로운 요소 중 하나입니다. 행과 열의 관계, 병합 셀, 헤더 계층을 모두 보존해야 하기 때문입니다. OCR-free 모델은 표를 어떤 형식으로 출력하도록 학습할까요.

표 출력 형식의 선택지
  마크다운 표      간단, 단순한 표에 적합, 병합 셀 표현 한계
  HTML 표          병합 셀(rowspan/colspan) 표현 가능, 장황
  구조화 JSON      셀별 좌표/내용을 명시, 파싱 용이, 가장 유연

각 형식은 트레이드오프가 있습니다. 마크다운은 사람이 읽기 좋지만 복잡한 병합 셀을 표현하기 어렵습니다. HTML 표는 병합을 표현할 수 있지만 출력이 길어집니다. 구조화 JSON은 가장 유연하지만 정답 데이터를 그 형식으로 일관되게 준비해야 합니다.

핵심은 작업에 맞는 형식을 고르고, 정답 데이터를 그 형식으로 통일하는 것입니다. 모델은 정답 형식을 모방하므로, 표 출력 형식이 들쭉날쭉하면 모델도 일관되지 않은 표를 냅니다. 또 표 정확도를 평가할 때는 단순 문자열 일치가 아니라 셀 단위, 구조 단위로 비교해야 실제 품질을 잡아낼 수 있습니다.

깊이 보기 4: 벤치마크와 평가 방법

OCR-free 모델을 어떻게 평가할까요. 작업마다 측정 지표가 다릅니다.

평가 관점 정리
  무엇을 읽었나      텍스트 인식 정확도 (편집 거리)
  무엇을 추출했나    키-값 정밀도/재현율
  구조를 보존했나    표 셀/구조 일치도
  의미를 이해했나    문서 VQA 정확도

중요한 점은 단일 점수가 모델의 모든 능력을 대변하지 못한다는 것입니다. 어떤 모델은 일반 텍스트는 잘 읽지만 표 구조에서 약하고, 어떤 모델은 영어는 강하지만 다국어에서 떨어집니다. 그래서 자신의 실제 문서 분포에 맞춘 자체 평가 세트를 구축하는 것이 무엇보다 안전합니다. 공개 벤치마크 점수는 출발점일 뿐, 실제 운영 데이터의 노이즈와 다양성을 그대로 반영하지는 않습니다.

깊이 보기 5: 추론 파이프라인 설계

OCR-free 모델을 실제 서비스에 올릴 때의 추론 파이프라인은 단순히 모델 호출 하나로 끝나지 않습니다. 전처리, 모델 추론, 후처리·검증의 세 단계로 보는 것이 좋습니다.

[원본 문서]
   |
   v
[전처리]   해상도 정규화, 회전 보정, 노이즈 제거
   |
   v
[모델 추론]  OCR-free 모델 -> 구조화 출력 생성
   |
   v
[후처리]   형식 검증(JSON 스키마), 신뢰도 판정, 폴백
   |
   v
[결과]    검증 통과 -> 자동 처리 / 실패 -> 사람 검토

각 단계의 역할은 분명합니다.

이 구조에서 핵심은 모델을 신뢰의 끝점이 아니라 파이프라인의 한 단계로 보는 것입니다. 모델이 틀릴 수 있다는 전제 위에서 검증과 폴백을 설계해야 실제 업무에서 안정적으로 동작합니다.

깊이 보기 6: 손글씨, 저화질, 회전 같은 난제

실제 문서는 깨끗한 인쇄물만 있는 게 아닙니다. 까다로운 입력에서 어떤 문제가 생기는지 정리합니다.

이런 난제들은 모델 단독으로 완벽히 해결하기 어렵습니다. 입력 품질을 끌어올리는 전처리와, 불확실한 출력을 걸러내는 후처리가 함께 가야 실무에서 견딜 만한 정확도가 나옵니다.

비교 테이블: 전통 OCR vs OCR-free

항목전통 OCR 파이프라인OCR-free / 통합 모델
구조검출-인식-레이아웃-추출 다단계단일 모델 엔드투엔드
누적 오류단계마다 쌓임크게 감소
문맥 보정어려움(인식은 모양만)가능(언어 능력 활용)
표/수식별도 규칙/모델 필요학습으로 구조화 출력
다국어언어별 모델/사전 경향한 모델로 다국어
운영 복잡도높음(여러 모델 관리)낮음(단일 모델)
데이터 의존단계별 중간 라벨최종 정답 형식에 의존
출력 정확성 보장단계별 검증 용이검증 단계 추가 권장

깊이 보기 9.5: 프롬프트 설계로 출력 다루기

VLM 기반 OCR-free 모델은 같은 이미지라도 프롬프트(지시)에 따라 다른 출력을 냅니다. 이는 강력한 유연성이자 동시에 변동성의 원인입니다.

같은 영수증, 다른 지시
  "이 영수증을 읽어줘"          -> 자유로운 자연어 요약
  "총액만 숫자로 답해"          -> 32500
  "항목을 JSON 배열로 추출해"    -> 구조화된 리스트
  "가게명, 날짜, 총액을 키-값으로" -> 명확한 필드 매핑

실무에서 안정적인 결과를 얻으려면 프롬프트를 구체적이고 일관되게 설계하는 것이 중요합니다.

프롬프트는 모델을 재학습하지 않고도 출력을 조정하는 가장 싼 손잡이입니다. 하지만 프롬프트만으로 해결되지 않는 정확성 문제는 결국 데이터와 파인튜닝, 후처리로 다뤄야 합니다. 프롬프트는 시작점이지 만능 해법이 아닙니다.

실무 적용: 영수증, 폼, 문서

OCR-free 접근을 실제 업무에 적용할 때 고려할 점을 작업별로 정리합니다.

공통적으로, 모델 출력을 그대로 신뢰하기보다 형식 검증, 신뢰도 임계값, 사람 검토 같은 안전장치를 함께 두는 것이 실무에서 중요합니다. 모델이 단정적으로 틀린 값을 낼 수 있으므로, 중요한 필드일수록 검증을 강화해야 합니다.

깊이 보기 7: OCR-free와 전통 OCR의 하이브리드

OCR-free가 만능은 아니므로, 실무에서는 전통 OCR과 OCR-free를 섞어 쓰는 하이브리드 설계가 자주 등장합니다. 각 방식의 강점을 살리는 것입니다.

하이브리드 설계(예)
  1. 전통 OCR로 텍스트와 위치를 빠르게 추출
   |
   v
  2. OCR-free/VLM이 그 텍스트와 이미지를 함께 보고 의미 해석
   |
   v
  3. 두 경로의 결과를 교차 검증해 신뢰도 산정

하이브리드의 교훈은 분명합니다. 새 기술이 옛 기술을 완전히 대체하기보다, 둘을 조합해 약점을 보완하는 것이 실무에서 더 견고할 때가 많습니다.

깊이 보기 8: 구조화 출력을 안정적으로 받기

OCR-free 모델에 구조화 출력(JSON, 표)을 받을 때, 모델이 늘 완벽한 형식을 내지는 않습니다. 안정적인 파싱을 위한 장치가 필요합니다.

구조화 출력 안정화 흐름
  [모델 출력 문자열]
   |
   v
  [형식 파싱 시도]  JSON 파싱 등
   |
   +-- 성공 --> [스키마 검증]  필드 존재/타입 확인
   |               |
   |               +-- 통과 --> 결과 채택
   |               +-- 실패 --> 폴백/재시도
   |
   +-- 실패 --> [복구 시도]  부분 추출 또는 재생성

이런 후처리 장치가 있어야 모델 출력을 실제 시스템에 안전하게 연결할 수 있습니다. 모델이 한 번씩 형식을 벗어나는 것은 정상이라는 전제로 설계해야 합니다.

깊이 보기 9: 비용과 지연 관점

OCR-free 모델, 특히 VLM 기반은 전통 OCR보다 무겁습니다. 비용과 지연을 관리하는 관점이 필요합니다.

비용/지연 비교(직관)
  전통 OCR        가벼움, 빠름, 저렴
  소형 OCR-free   중간
  대형 VLM        무거움, 느림, 비쌈, 대신 유연/정확

정확성만 좇다 보면 비용이 감당 불가능해지고, 비용만 좇다 보면 품질이 떨어집니다. 작업의 정확성 요구와 예산 사이에서 균형을 잡는 것이 실무 설계의 핵심입니다.

깊이 보기 12: 다국어 문서의 추가 도전

다국어 문서는 단순히 여러 언어를 인식하는 것 이상의 도전을 안고 있습니다.

다국어 처리의 단계
  인식        다양한 문자 체계를 텍스트로
   |
   v
  구조 이해   언어 무관하게 레이아웃/표 파악
   |
   v
  정규화      지역별 숫자/날짜/통화 형식 통일

핵심은 인식 정확도뿐 아니라 인식 후 정규화까지 고려해야 실무에서 쓸 수 있는 결과가 나온다는 것입니다. 대상 언어와 지역을 명확히 하고, 그 분포에 맞춘 데이터와 후처리 규칙을 준비하는 것이 다국어 문서 처리의 출발점입니다.

함정과 한계

깊이 보기 10: 도메인별 적용 시 고려사항

OCR-free 모델을 특정 산업에 적용할 때 도메인마다 다른 제약과 요구가 있습니다.

도메인별 우선순위
  금융     정확성 > 속도, 강한 검증
  의료     정확성 > 비용, 도메인 파인튜닝
  법률     구조/순서 보존, 긴 문서 처리
  물류     양식 다양성 대응, 처리량

공통 교훈은 도메인의 오류 비용에 비례해 검증 강도를 조절하라는 것입니다. 오류가 치명적인 도메인일수록 모델 출력을 그대로 신뢰하지 않고 안전장치를 두텁게 쌓아야 합니다.

깊이 보기 11: 앞으로의 방향

문서 이해 모델은 빠르게 발전하고 있습니다. 몇 가지 흐름을 짚어 봅니다.

이런 방향들은 모두 한 가지를 향합니다. 사람의 개입을 줄이면서도 정확성을 유지하는 것입니다. 다만 현재로서는 완전 자동화보다, 모델과 검증·사람 검토를 결합한 설계가 실무에서 가장 견고합니다.

마치며

문서 AI는 글자를 읽는 단계의 사슬에서, 이미지를 받아 의미를 곧장 내놓는 단일 모델로 무게중심을 옮겨 왔습니다. OCR-free 접근은 누적 오류를 줄이고, 언어 능력으로 문맥을 보정하며, 검출-인식-파싱을 하나로 통합해 운영을 단순화합니다.

물론 만능은 아닙니다. 환각, 희귀 도메인, 고해상도 비용 같은 한계가 남아 있고, 출력의 정확성을 보장하려면 검증 장치가 필요합니다. 그럼에도 한 모델이 글자와 의미를 함께 본다는 방향성은 문서 이해의 강력한 흐름이며, VLM의 발전과 함께 그 적용 범위는 계속 넓어지고 있습니다. 핵심은 도구의 강점과 한계를 모두 이해하고, 작업의 정확성 요구에 맞춰 적절한 안전장치와 함께 쓰는 것입니다.

참고 자료

원문 보기: https://www.youngju.dev/blog/ai-papers/2026-06-26-ocr-free-document-understanding

댓글

아직 댓글이 없습니다.

로그인하면 댓글을 쓸 수 있습니다