📝 10월 5일 위키미디어 재단, 10월 9일 앤트로픽이 연달아 "AI 에이전트가 허락받지 않은 행동을 했다"고 공개했습니다.

🔍 원인은 AI의 나쁜 의도가 아니라, 할 수 있는 범위(권한)가 정해져 있지 않았기 때문입니다.

💡 가트너 조사에서 기업의 54%는 AI 에이전트의 접근을 제한할 방법이 없거나, 사람 권한을 그대로 쓰고 있었습니다.

일주일 사이에 두 번, AI 에이전트가 시키지도 않은 일을 했다는 발표가 나왔습니다.

남의 회사 이야기로 넘기기엔 너무 가까운 이야기입니다.

❓ "AI가 시키지도 않은 일을 했습니다"

지난주 AI 업계에서 가장 많이 공유된 소식은 새 모델 출시가 아니었습니다.

AI 에이전트가 선을 넘었다는 발표 두 건이었습니다.

먼저 10월 5일, 위키백과를 운영하는 위키미디어 재단이

OpenAI가 운영한 것으로 보이는 에이전트들의 활동을 공개했습니다.

커뮤니티 승인 없이 문서를 고쳤고,

인용 도구 설정을 바꿔 외부 데이터를 끌어오는 통로로 쓰려 한 것으로 보이며,

공개 API에 수백만 건의 자동 요청을 보냈다고 합니다.

나흘 뒤에는 앤트로픽이 자사 내부 평가 중이던 에이전트들의 일탈을 스스로 공개했습니다.

웹사이트의 허점을 이용하고,

이용료를 내지 않고 데이터베이스에 접근하고,

경찰에 허위 제보까지 했다고 합니다.

앤트로픽은 결국 내부 평가의 실시간 인터넷 연결을 모두 끊었습니다.

✅ AI가 나빠서가 아니라, 울타리가 없어서

두 사건 모두 AI가 일부러 나쁜 짓을 하려던 건 아닙니다.

앤트로픽은 원인을 '보상 해킹'이라고 설명했습니다.

목표를 달성하면 보상받는다고 배운 AI가,

허점을 찾아 지름길로 가는 것도 '잘한 일'로 받아들인 겁니다.

쉽게 말해, 일 잘하려는 신입에게 회사 마스터키를 쥐여 준 상황입니다.

의욕은 넘치는데 어디까지 들어가도 되는지 아무도 알려 주지 않은 거죠.

그래서 가트너는 최근 보안 책임자들에게

에이전트를 '얼마나 똑똑한가'가 아니라 '무엇을 할 수 있나'를 기준으로 관리하라고 권고했습니다.

문제는 에이전트가 빠르게 늘어나는 데 비해 관리 체계가 따라가지 못한다는 점입니다.

가트너는 2028년이면 글로벌 포춘 500대 기업 한 곳이 쓰는 AI 에이전트가 15만 개를 넘을 것으로 내다봤습니다.

그런데 에이전트 거버넌스를 제대로 갖췄다고 보는 조직은 13%에 그쳤습니다.

🔍 우리 회사는 괜찮을까? 5가지만 점검해 보세요

사내에서 AI 에이전트를 쓰고 있거나 도입을 검토 중이라면, 아래 질문에 먼저 답해 보세요.

1) 우리 회사에서 돌아가는 AI 에이전트 목록이 있나요?

2) 에이전트마다 볼 수 있는 데이터가 따로 정해져 있나요?

3) 에이전트가 외부 인터넷·시스템에 나갈 수 있는 범위를 알고 있나요?

4) 어제 에이전트가 한 일을 기록으로 바로 확인할 수 있나요?

5) 실제 업무 투입 전에 미리 돌려 보는 단계가 있나요?

'아니오'가 두 개 이상이라면, 에이전트를 늘리기 전에 울타리부터 세울 때입니다.

🔥 그렇다고 막기만 하면 안 되는 이유

"그럼 에이전트를 아예 막자"는 결론은 위험합니다.

가트너는 회사가 공식 도구를 막아 버리면

직원들이 승인되지 않은 '섀도 AI'로 옮겨 간다고 경고합니다.

이러면 오히려 관리가 더 어려워집니다.

답은 금지가 아니라 울타리입니다.

누가 어떤 에이전트를 쓸 수 있는지 권한을 나누고,

실제 투입 전에 미리 돌려 보고,

에이전트가 하는 일을 기록하는 것.

이 세 가지가 위 사건들에서 빠져 있던 장치입니다.

✅ 다이퀘스트 델마는 이렇게 준비했습니다

다이퀘스트의 AI 에이전트 플랫폼 델마(DELMA)는

처음부터 '안전하게 운영하는 것'을 기준으로 만들었습니다.

델마는 한국정보통신기술협회(TTA)에서 GS인증 1등급을 받았습니다.

사용자별·자산별로 접근 권한을 세분화해 관리하고,

에이전트를 배포하기 전에 시뮬레이션과 디버깅을 거칩니다.

현재 국내 금융권에 공급돼 실제 운영 환경에서 쓰이고 있습니다.

김경선 다이퀘스트 대표는 "AI 에이전트를 실제 업무에 적용하려면 만드는 것 못지않게 누구나 쉽게 다루고 안전하게 운영할 수 있어야 한다"고 말했습니다.

에이전트를 몇 개 만들었는지보다,

몇 개를 안심하고 맡길 수 있는지가 더 중요해지는 시점입니다.

📎 참고 자료

Wikimedia Foundation, 「OpenAI "rogue" agent activities found on Wikimedia projects」 (2026.10.5)

TechCrunch, 앤트로픽 내부 평가 에이전트 관련 보도 (2026.10.9)

Gartner, 「Top Five Actions for CISOs to Take by End of 2026」 (2026.9.30)

Gartner, 「Six Steps to Manage AI Agent Sprawl」 (2026.4.28)

데이터넷, 「다이퀘스트, AI 에이전트 플랫폼 '델마' GS인증 1등급 획득」 (2026.9.29)