개요
프로젝트 개요
서비스 요청을 수집하고 AI로 구조화 데이터를 추출하며 승인 체크포인트를 사람에게 라우팅하는 자동 문서 처리 파이프라인.
문제
엔지니어링 과제
운영 직원이 공급업체 PDF·이메일에서 표 데이터, 주문 번호, 사양을 수동 추출하는 데 주당 15시간 이상 쓰며 입력 병목과 피할 수 있는 전사 오류가 생겼습니다.
주요 기술 제약:
- 높은 정확도 요구: 자동 추출은 재무 조치 실행 전 직원이 검증할 수 있어야 합니다.
- 다양한 PDF 형식과 비구조 스캔 문서를 처리해야 합니다.
- 데이터 프라이버시: 고객 정보는 격리되어야 하며 공개 모델 학습에 절대 사용되면 안 됩니다.
솔루션
엔지니어링 및 아키텍처 접근
결정적 광학 파싱과 LLM 시맨틱 추출을 결합한 비동기 이벤트 기반 자동화 레이어를 구현했습니다. 추출 필드는 신뢰도 점수를 받고 대상 시스템 동기화 전 나란히 사람 검토 드로어에 표시됩니다.
시스템 아키텍처 하이라이트:
Document Ingestion Gateway
PDF 텍스트 추출이 포함된 자동 webhook 및 이메일 파싱.
Confidence-Scoring Engine
필드 수준 신뢰 플래그가 있는 스키마 기반 LLM 구조화 출력 파싱.
Human-in-the-Loop Review
낮은 신뢰 필드를 강조해 즉시 1클릭 검증하는 간결한 UI.
Downstream Sync Consumers
검증된 데이터를 ERP 및 CRM으로 전송하는 탄력적 큐 워커.
기술적 근거
핵심 엔지니어링 결정
문서 신뢰 점수가 98% 미만일 때 사람 검증 트리거를 적용했습니다.
볼륨 급증 시 문서 손실 제로를 위해 dead-letter 재시도 로직이 있는 Redis 큐를 사용했습니다.
투명한 감사 준수를 위해 모든 원본 문서와 추출 텔레메트리를 저장했습니다.
결과
검증된 결과
01
수시간 수동 전사를 빠른 수초 검증으로 바꿨습니다.
02
이중 자동·사람 검증으로 데이터 입력 오류를 거의 제로로 줄였습니다.
03
공개 모델 학습 노출 없이 엔터프라이즈 데이터 격리를 유지했습니다.