소버린 AI란 국가나 기관이 AI 모델과 데이터, 인프라를 외부에 기대지 않고 스스로 통제하는 것을 말합니다. 공공기관과 금융회사에서는 이 원칙이 AI를 전산실 안에 두는 온프레미스 방식으로 이어집니다.

챗GPT 같은 외부 AI 서비스는 가입만 하면 바로 쓸 수 있습니다.

하지만 금융·공공은 망분리 규제 때문에 이런 서비스를 업무에 쓰기 어려웠습니다.

2024년부터 망분리 규제가 단계적으로 풀리면서 새 과제가 생겼습니다.

무엇을 밖에 맡기고, 무엇을 안에 둘 것인가입니다.

이 글에서는 소버린 AI가 기관에 어떤 의미인지,

온프레미스를 고르는 이유와 그 비용,

어디까지 안에 둘지 판단하는 기준을 차례로 살펴봅니다.

🔍 소버린 AI란? 공공기관·금융회사에게는 무슨 뜻일까

소버린(sovereign)은 '주권을 가진'이라는 뜻입니다.

국가 차원의 소버린 AI는 AI 모델, 데이터, 컴퓨팅 인프라를

해외 기업에 의존하지 않고 스스로 확보하는 것을 목표로 합니다.

정부가 추진하는 독자 AI 파운데이션 모델 프로젝트도 같은 흐름입니다.

성과는 수치로 나타나고 있습니다.

미국 스탠퍼드대 인간중심AI연구소(HAI)가 2026년 4월 발표한 「AI Index 2026」에 따르면,

2025년 '주목할 만한 AI 모델'은 미국 50개, 중국 30개, 한국 8개였습니다.

한국은 2024년 1개에서 2025년 8개로 늘었고, 이 가운데 5개가 독자 AI 파운데이션 모델 프로젝트 참여 모델입니다.

다만 2025년 기준으로 미국과는 여전히 6배 넘게 차이가 납니다.

이 격차를 줄이는 일이 국가 차원의 과제로 남아 있습니다.

소버린 AI를 한 기관 안으로 가져오면 질문은 세 가지로 좁혀집니다.

1) 데이터: 질문과 문서가 기관 밖으로 나가지 않는가

2) 모델: 어떤 모델을 언제 바꿀지 기관이 정하는가

3) 운영: 문제가 생기면 원인을 기관이 직접 확인할 수 있는가

세 질문에 모두 '그렇다'고 답하기 가장 쉬운 구축 방식이 온프레미스(On-premise)입니다.

온프레미스 AI는 서버와 AI 모델을 기관이 직접 관리하는 전산실에 설치해 쓰는 방식입니다.

외부와 분리된 환경에서 쓴다는 점에서 프라이빗 AI라고도 부릅니다.

✅ 망분리 규제가 풀려도 공공·금융이 온프레미스를 선택하는 이유

공공·금융의 AI 규제는 2026년에도 계속 풀리고 있습니다.

금융위원회가 2026년에 내놓은 망분리 관련 조치는 다음과 같습니다.

· 2026년 1월: 사무용 클라우드 소프트웨어(SaaS)를 망분리 예외로 인정하는 규정 개정안 예고

· 2026년 5월: 고성능 AI의 보안 위협에 대응해, 보안 목적의 AI 활용에 한해 망분리 긴급 완화

· 2026년 6월: 금융회사 10곳이 외부 고성능 AI로 보안 취약점을 점검하는 1차 테스트 시작

· 2026년 9월: 신청 대상을 49개사에서 75개사로, 선정 규모를 최대 15개사로 늘린 2차 완화안 발표

공공에서는 국가정보원이 2025년 9월 국가망보안체계(N²SF) 가이드라인 1.0을 공개했습니다.

업무 정보를 기밀·민감·공개 세 등급으로 나누고, 등급에 따라 생성형 AI와 외부 클라우드를 쓸 수 있게 한 체계입니다.

국가정보원은 2026년 9월 대규모 국가·공공 정보화 사업에 기획·예산 단계부터 N²SF를 적용하겠다고 밝혔습니다.

다만 망분리 규제가 풀릴 때마다 조건이 붙습니다.

금융위원회의 SaaS 망분리 예외에서도 고유식별정보나 개인신용정보를 처리하는 경우는 제외됐습니다.

AI 보안 테스트는 망분리를 대신할 통제 수단을 갖춘 회사만 참여할 수 있습니다.

2026년 10월 초에는 금융권 해킹 사고가 잇따르면서 2차 테스트 대상 선정이 연기됐습니다.

공공 부문도 비슷합니다.

N²SF 등급을 기관마다 다르게 해석해, 보안이 걱정되면 높은 등급으로 분류하는 경우가 많습니다.

국가정보원은 이런 편차를 줄이려고 2026년 안에 N²SF 데이터 분류 가이드라인을 내놓을 계획입니다.

규제는 AI를 쓸 수 있는 쪽으로 바뀌고 있지만,

민감한 데이터는 여전히 엄격하게 다루라는 방향으로 읽힙니다.

공공기관과 금융회사가 핵심 업무 AI를 온프레미스로 두려는 이유는 세 가지입니다.

1) 데이터를 내보내면 설명할 책임이 생깁니다

상담 기록, 민원, 내부 규정 문서에는 민감한 정보가 섞여 있습니다.

규제가 허용하더라도, 외부로 보낸 데이터가 어떻게 처리됐는지는 감사에서 기관이 설명해야 합니다.

처음부터 내보내지 않으면 설명할 일 자체가 줄어듭니다.

2) 틀린 답의 원인을 찾아야 합니다

공공·금융에서 AI가 잘못 안내하면 민원이나 금융 피해로 이어질 수 있습니다.

원인을 찾아 고치려면 어떤 문서를 근거로, 어떤 모델 버전이 답을 냈는지 기록이 남아 있어야 합니다.

이 기록을 기관이 직접 보관하려면 시스템을 안에 두는 편이 유리합니다.

3) 외부 사정에 일정을 맡기기 어렵습니다

외부 AI 서비스는 가격, 이용 정책, 모델 버전이 공급사 사정에 따라 바뀝니다.

모델이 업데이트되면 같은 질문에 다른 답이 나올 수도 있습니다.

예산과 사업 일정을 1년 단위로 정하는 기관에는 부담이 되는 변수입니다.

온프레미스 AI는 규제를 피하는 수단이라기보다,

답에 대한 책임을 기관이 끝까지 지기 위한 선택에 가깝습니다.

⚖️ 온프레미스 AI의 비용과 한계

온프레미스 AI의 가장 큰 부담은 인프라입니다.

범용 대형 언어모델(LLM)을 전산실에서 운영하려면 고가 GPU가 여러 장 필요합니다.

도입한 뒤에도 전력비와 유지보수비가 계속 듭니다.

성능 격차도 생깁니다.

외부 서비스의 최신 모델은 몇 달 단위로 바뀌지만,

전산실에 들인 모델은 직접 교체하기 전까지 그대로입니다.

운영 인력도 필요합니다.

모델을 설치한 뒤에도 데이터 정리, 성능 점검, 보안 업데이트를 맡을 사람이 있어야 합니다.

그래서 모든 업무를 온프레미스에 두는 것도, 모두 외부 클라우드에 맡기는 것도 답이 되기 어렵습니다.

업무별로 나누는 기준이 필요합니다.

📌 온프레미스와 클라우드, 어디까지 안에 둘까: 판단 기준 3가지

어떤 업무를 온프레미스에 두고 어떤 업무를 외부 서비스에 맡길지, 아래 세 가지를 차례로 따져 보시길 권합니다.

1) 이 업무가 다루는 데이터는 어느 등급인가

개인정보, 신용정보, 내부 의사결정 문서를 다룬다면 안에 두는 것을 기본으로 합니다.

공개 자료 요약이나 일반 문서 초안처럼 공개 데이터만 쓰는 업무는 외부 서비스도 검토할 수 있습니다.

공공기관이라면 국가정보원의 N²SF 데이터 분류 가이드라인이 나오는 대로 이를 기준으로 삼을 수 있습니다.

2) AI의 답이 틀리면 누가 책임지는가

대국민 안내, 고객 상담, 심사처럼 AI의 답이 곧 기관의 공식 안내가 되는 업무는 근거를 추적할 수 있어야 합니다.

직원이 참고용으로 쓰는 도구라면 요구 수준이 낮아집니다.

3) 이 업무에 큰 모델이 꼭 필요한가

상담, 문서 검색, 요약처럼 범위가 정해진 업무에는 범용 모델의 모든 기능이 필요하지는 않습니다.

업무에 맞게 크기를 줄인 경량 모델(sLLM)을 쓰면 GPU 부담이 줄어 전산실에 두기도 쉬워집니다.

세 질문으로 업무를 나누면 온프레미스와 클라우드를 함께 쓰는 하이브리드 구조가 됩니다.

민감하고 책임이 무거운 업무는 온프레미스로,

공개 데이터만 쓰는 업무는 외부 서비스로 운영하는 방식입니다.

다이퀘스트도 금융·공공 현장에 AI를 공급할 때,

상담 도메인에 맞게 경량화한 모델로 인프라 부담을 낮추고 있습니다.

🤝 마무리하며

공공기관과 금융회사의 관점에서 소버린 AI는 결국

'이 답을 우리가 끝까지 설명할 수 있는가'의 문제입니다.

어떤 모델을 쓸지 고르기 전에, 어떤 업무를 어디에 둘지부터 나눠 보세요.

온프레미스와 클라우드 중 무엇을 고를지는 그다음입니다.

❓ 자주 묻는 질문

Q1. 소버린 AI와 온프레미스는 같은 말인가요?

A. 아닙니다. 소버린 AI는 AI를 스스로 통제하자는 목표이고, 온프레미스는 그 목표를 이루는 구축 방식 가운데 하나입니다. 국내 클라우드 사업자의 전용 환경(프라이빗 클라우드)을 쓰는 방법도 있습니다.

Q2. 망분리 규제가 풀리면 온프레미스 AI는 필요 없어지나요?

A. 아닙니다. 2026년 금융위원회의 망분리 완화로 외부 서비스를 쓸 수 있는 범위는 넓어졌지만, 데이터를 어떻게 다뤘는지 설명할 책임은 그대로 기관에 남습니다. 민감한 데이터를 다루는 업무라면 규제와 별개로 안에 두는 방안을 먼저 검토하는 것이 안전합니다.

Q3. 온프레미스 AI는 클라우드 AI보다 성능이 떨어지지 않나요?

A. 클라우드에서 제공되는 범용 최신 모델과 비교하면 격차가 생길 수 있습니다. 다만 상담·검색처럼 범위가 정해진 업무라면 도메인에 맞춘 경량 모델(sLLM)로도 필요한 수준을 낼 수 있습니다. 도입 전에 실제 업무 데이터로 시험해 보는 것이 가장 확실합니다.

📎 참고 자료

Stanford HAI, 「AI Index Report 2026」 (2026.4)

금융위원회 보도자료 (2026.1.19 / 2026.5.22 / 2026.9.3)

국가정보원, 「국가망보안체계(N²SF) 가이드라인 1.0」 (2025.9.30)

국가정보원, 사이버서밋코리아 2026 발표 (2026.9.17, 지디넷코리아 보도)