- AI 기반 지능형 기록정보 검색 솔루션 개발 및 실증 사업을 위한 데이터 수집 및 정제 사례 중심

최근 공공기관, 행정기관, 연구기관 등에서 생산되는 기록물은 디지털 형태로 보관·활용되는 비중이 빠르게 증가하고 있습니다.

그러나 단순히 문서를 전산화했다고 해서 바로 인공지능(AI)이나 검색 서비스에서 활용할 수 있는 것은 아닙니다.

문서의 형식, 구조, 포함된 이미지나 표의 형태가 제각각이기 때문에 이를 기계가 이해할 수 있는 형태로 정리(전처리) 하는 과정이 필수적입니다.

이번 ‘AI 기반 지능형 기록정보 검색 솔루션 개발 및 실증’ 사업은 최신 생성형 AI 기술을 활용하여 국민이 정부 기록물을 손쉽게 찾아서

비교·분석하고 활용할 수 있도록 기록물 검색 및 열람 체계 서비스를 마련하는 것을 주요 목표로 개발 중에 있습니다.

26년 대국민 서비스 오픈 예정이며, 기록물의 생성형 AI와 멀티모달 검색을 도입하여 기록물의 정보 요약, 구조화,

검색 및 추천 기능을 제공함으로써 국민의 정보 접근성을 높이고 공공 서비스의 품질을 개선하여

정확한 검색서비스와 행정, 연구 효율성을 제공하고자 합니다. 또한 사업의 핵심은 AI 모델을 활용해 기록물의 검색 효율성을 극대화하고,

사용자 질의에 대한 정확한 답을 제공하는 시스템을 구현하는 것입니다.

올해 사업을 수행하며 진행된 데이터 수집·정제·전처리 과정을 쉽게 설명하고,

어떤 기술적 고려와 자동화가 이루어졌는지 공유하고자 합니다.

먼저, 본 사업에서 다뤄야 했던 공공기록물의 양은 상당했습니다.

(물론 국가기록원 전체 데이터 중 일부만이 본 사업 대상 데이터입니다.)

또한 기록물은 하나의 파일 형식으로 통일되어 있지 않고, 아주 다양한 문서 포맷으로 존재했습니다.

PRN, BIN, BMP, DOT 등 생소한 포맷인 문서들이 많았습니다.

문장 구조 분석이 불가능한 포맷을 제외하고도, 문서 유형이 다 달랐고,

이에 따라 유형별로 전처리 방식이 다르게 처리해야 한다는 점이 가장 큰 도전이었습니다.

다양한 파일(확장자) 유형

특히, 훈민정음(GUL) 파일은 과거 ‘훈민정음’ 프로그램에서 사용했던 문서 파일로,

기존 프로그램으로는 Parshing(내용 추출)이 불가능합니다.

따라서 훈민정음(GUL) → 최신 한글(HWP) 포맷으로 자동 변환하는 전처리 로직을 개발하여

대량의 문서를 수동이 아닌 자동화 방식으로 변환·수집해야 했습니다.

전체 데이터 중 가장 많은 비중을 차지하는 문서는 한글(HWP) 파일이었습니다.

하지만 HWP 문서 안에는 다음과 같은 다양한 요소가 섞여 있습니다.

· 문장(Text)

· 표(Table)

· 이미지

· 그래프/도표

그렇기 때문에 단순히 텍스트만 추출하면 정보가 훼손될 수 있습니다.

이를 해결하기 위해 다음과 같은 방식으로 요소별 전처리를 수행했습니다.

① 이미지 및 그래프 데이터 전처리

문서 파싱 할 때 html 태그를 활용하여 텍스트와 이미지, 그래프, 표 데이터를 정확하게 분리하도록 전처리를 진행했습니다.

· 문서 내 이미지를 <img> 태그 단위로 식별 및 분리

· 이미지 파일을 별도 스토리지(DB)와 연동하여 저장

· 검색 결과나 AI 설명 시, 해당 이미지를 함께 보여줄 수 있도록 구조 설계

즉, AI가 문서를 읽고 답변할 때 이미지도 함께 제시할 수 있게 만들었습니다.

② 표(Table) 데이터 전처리

표는 텍스트 그대로만 받아오면 형태가 깨지거나 의미가 달라집니다. 따라서 다음과 같은 방식으로 처리했습니다.

· 표 구조를 HTML 표(<table>) 형태로 변환

· 행/열/셀 관계 유지

· AI가 표 내용을 요약, 비교, 분석할 수 있도록 구조적 데이터로 변환

즉, 표는 이미지가 아닌 분석 가능한 데이터로 만들어야 활용 가치가 높아집니다.

③ 간행물·행정연보 등 PDF 문서 처리: 이미지 + 텍스트 동시 인식

PDF 문서는 다음과 같은 특징을 가집니다. 텍스트가 그대로 살아있는 PDF도 있고,

아예 스캔 이미지 형태인 PDF도 있으며, 텍스트와 이미지가 복합적으로 섞여 있는 경우도 많습니다.

따라서 단순 텍스트 추출 방식으로는 정확한 정보 수집이 어렵습니다.

이를 해결하기 위해 VLM(Visual-Language Model) 기반 전처리를 적용했습니다.

· PDF 파일을 이미지로 변환

· VLM 모델이 이미지 속 레이아웃/문장/사진을 분석

· 이미지에 포함된 시각 정보를 설명 텍스트(alt-text) 형태로 자동 생성

· 생성된 텍스트와 원문 텍스트를 함께 색인하여 AI가 정확하게 이해하도록 지원

이번 사업에서 수행한 데이터 전처리 과정은 단순한 문서 정리가 아니라, AI가 문서를 실제로 이해하고 설명할 수 있도록 기반을 만드는 과정이었습니다.

이 과정이 있었기 때문에, 이후 검색 서비스나 질문-답변(QA) 서비스에서 사용자는 단순한 키워드 검색이 아니라,

문서 속 의미·문맥·근거·이미지까지 포함된 정확한 결과를 얻을 수 있게 됩니다.

앞으로도 공공기록물 데이터의 가치는 더욱 커질 것이며,

이를 잘 활용하기 위해서는 기술적 기반을 탄탄하게 다지는 전처리 과정이 필수적입니다.

이번 사업에서의 데이터 수집과 전처리 과정은

단순히 문서를 정리하는 기술적 단계가 아니라,

AI가 기록의 ‘의미’를 이해하도록 만드는 토대였습니다.

기록을 잘 다루는 기술은 곧, 미래의 공공서비스 품질을 결정짓는 핵심이 될 것입니다.

다이퀘스트는 앞으로도 방대한 공공데이터가 국민에게 더 가까워질 수 있도록

AI 기술을 통해 기록의 가치를 재발견해 나가겠습니다.