Verra가 Upstage AI로 데이터 관리를 효율화해서 핵심 필드 추출 정확도 90~100% 달성

Verra는 세계 최대 탄소 크레딧 프로그램인 Verified Carbon Standard(VCS)를 운영하는 비영리 기관으로, 지속 가능한 개발과 플라스틱 관련 기준 프로그램도 함께 제공합니다. 18년 이상의 경험을 바탕으로 환경·사회 시장에서 품질과 신뢰성의 기준을 세워왔습니다.Verra의 방법론은 엄격한 과학에 기반합니다. 투명성과 신뢰성을 높이면서도 강력한 보호 장치와 혜택 공유를 함께 설계합니다.

현재 Verra 표준 프로그램은 기업, 국가, 지역사회가 목표를 실천으로 옮길 수 있도록 돕습니다. 디지털 MRV 도구 구축, 관할 구역별 산림 파괴 데이터 정비, 투명한 문서화, 프로젝트 등록 절차 간소화까지, Verra는 필요한 변화를 직접 만들어가고 있습니다. 지금까지 125개국 이상에서 3,400개 이상의 프로젝트를 등록하고 13억 개 이상의 탄소 크레딧을 발행했습니다.

프로젝트 워크플로우 디지털화가 진행 중이지만, 과거 프로젝트 정보 대부분은 여전히 PDF로 남아 있습니다. 배출량 감축 계산 같은 기술적 세부사항과 정형·비정형 데이터가 뒤섞인 복잡한 문서들입니다. 이를 디지털화하면 Verra가 인증하는 수천 개 프로젝트의 상호 운용성, 자동화, 투명성, 확장성이 모두 높아집니다. 업스테이지와 함께 AI 기반 파일럿을 통해 PDF에서 데이터를 정확하고 안정적으로 추출할 수 있음을 입증했으며, 이는 레거시 문서 현대화의 가치를 확인시켜 줍니다.

첫번째로 다양한 형식을 가진 기존 PDF 자료들이 약 8,000건이었습니다. 문서 유형도 다양했고, 고정된 레이아웃도, 필드의 일관된 위치도 없었습니다. 기준을 삼을만한 구조가 없어 처리가 매우 어려웠습니다.

둘째, Verra의 추출 방식은 확장 가능하지 않았습니다. 엔지니어링 팀은 이전에 온실가스 수치, 프로젝트 식별자, 모니터링 기간과 같은 필드를 추출하기 위해 광범위한 정규식 로직에 의존했습니다. 각 필드마다 자체 패턴이 필요했습니다. 단일 정규식을 설계하고 다듬는 데 2~4일이 소요되었으며, 모든 문서에 예외 사례가 있었기 때문입니다. 이 방식을 수백 또는 수천 개의 필드로 확장하려면 수개월의 개발 시간이 필요했을 것입니다.

셋째, Verra는 외부 의존 없이 내부 개발자가 독립적으로 유지할 수 있는 솔루션이 필요했습니다. 새로운 문서 유형을 온보딩하고, 스키마를 업데이트하며, 외부 벤더에 의존하지 않고도 내부 시스템과 통합할 수 있기를 원했습니다.

AWS BOX 프로그램을 통해 Verra는 Upstage와 시스템 통합 업체 Pariveda와 협력하여 전체 정규식 기반 워크플로우를 점진적으로 대체할 자동화된 문서 추출 파이프라인을 구축했습니다. 핵심은 Upstage Information Extract입니다. OCR과 언어 모델을 결합한 에이전트형 솔루션으로, 템플릿이나 정해진 규칙에 의존하지 않고, 전문가가 문서를 해석하는 방식으로 문서를 이해합니다. 페이지 레이아웃을 파악하고 표를 정확히 읽으며, 다단 구조의 흐름을 따라가고 필드 간 의미적 관계를 인식합니다.

개발자가 원하는 필드를 JSON 스키마로 정의하면, AI가 스키마를 해석해 정보를 찾고 추출 결과를 검증한 뒤 정형 데이터로 출력합니다. 정규식도 없고, 수작업 규칙도 없으며, 형식이 바뀔 때마다 깨지는 코드도 없습니다. 장기 자율 운영을 위해 인프라도 함께 설계했습니다. 예측 가능한 배포를 위한 인프라스트러쳐 코드, 정형 저장용 DynamoDB, 보안 인증용 Cognito, 프론트엔드 호스팅용 Amplify, 모니터링·감사용 CloudWatch, 그리고 하위 시스템 연동을 단순화하는 API 엔드포인트까지 함께 제공됐습니다.프로젝트는 빠르게 진행됐습니다. 4월 매칭 행사 이후 6월에 자금 승인, 7월에 개발 착수, 8월 말에 완료 및 지식 이전까지 마쳤습니다. 이후 Verra는 새로운 문서 유형을 완전히 자체적으로 등록했고, 시스템이 진짜로 스스로 확장된다는 것을 확인했습니다.

Upstage AI 도입 전후, Verra의 문서 처리 방식이 어떻게 달라졌는지 비교해보겠습니다.

도입 전

문서 유형마다 수십 개의 정규식 패턴이 필요했습니다. 필드 하나당 2~4일이 걸렸고, 문서 형식이 바뀔 때마다 오류가 생겼습니다. 느리고 취약했으며 유지보수 부담도 컸습니다. 8,000건 문서에서 뽑아야 할 필드가 수천 개 백로그로 쌓였습니다.

도입 후

필요한 정보를 간단한 스키마로 정의하면 AI가 레이아웃과 내용을 자동으로 분석합니다. 내부 시스템에 바로 쓸 수 있는 정제된 정형 데이터가 나옵니다. 새로운 문서 유형은 몇 시간에서 며칠 안에 등록할 수 있고, 쌓여 있던 백로그도 이제는 충분히 감당할 수 있는 수준이 됐습니다.

결과는 즉각적으로 의미 있었습니다. 초기 단계에서 시스템이 약 50개 문서, 7,000페이지 이상의 데이터를 추출했습니다. MVP는 프로젝트 설명 템플릿과 모니터링 보고서에 집중했고, 핵심 필드 정확도 90~100%, 보조 필드 80~90%를 기록했습니다.

더 중요한 변화는 개발 속도입니다. 정규식 방식이라면 수개월의 엔지니어링과 끝없는 유지보수가 필요했을 수천 개 필드를, 이제는 며칠에서 몇 주 안에 처리할 수 있게 됐습니다.

Verra CTO는 Upstage의 기여를 "레거시 PDF에 갇혀 있던 정보를 꺼낼 수 있게 해준 견고한 아키텍처와 전략적 방향 설정의 조합"이라고 설명했습니다. 데이터 접근이 빨라지면서 검토 시간이 단축되고, 디지털 문서를 색인해 트렌드·규정 준수·성과 지표를 분석할 수 있게 됐습니다. 탄소 프로젝트의 AI 기반 리스크 평가와 예측 모델링도 가능해지고 있습니다.