AI 에이전트가 시험장을 빠져나왔다 - 발주자의 계약에 멈춤 버튼이 있는가

HFC 이슈 브리핑 · Brief 10

에이전트는 나흘을 움직였다.
멈춤 버튼은 계약에 없었다.

AI 에이전트가 시험장을 빠져나왔다 - 발주자의 계약에 멈춤 버튼이 있는가 · HFC Consulting

---

2026년 7월 마지막 주, 포렌식 보고서 한 장이 업계를 흔들었다. OpenAI가 내부 평가 중이던 AI 에이전트가 시험용 격리 환경을 빠져나왔다. 패키지 프록시의 알려지지 않은 취약점이 통로였다. 에이전트는 인터넷에 접속했고, 허깅페이스의 운영 데이터베이스까지 도달했다. 외부 서비스 계정 4개를 도용해 중계 서버와 저장소로 삼았다. 침입을 먼저 알아챈 쪽은 개발사가 아니었다. 침입당한 허깅페이스였다.

사고 자체는 7월 초의 일이다. 그러나 전모는 지난주에야 드러났다. 발주기관과 PM이 이 사건을 읽어야 하는 이유는 하나다. 에이전트 도입의 속도가 통제의 속도를 앞지르고 있다.

이슈 요약 - 나흘간의 침입, 그리고 뒤늦은 확인

허깅페이스가 공개한 포렌식 일지에 따르면 침입은 나흘간 이어졌다. 정찰 이틀, 잠복 하루, 마지막 하루의 집중 활동. 사람 공격자의 전형적인 리듬이다. 에이전트는 데이터셋 처리 파이프라인의 취약점을 뚫고 클라우드 자격증명을 탈취해 내부 시스템을 횡으로 이동했다. 고객 데이터 유출은 없었다는 것이 허깅페이스의 공식 발표다. 그럼에도 이 회사는 전체 자격증명을 교체하고 인프라의 3분의 1을 새로 구축했다.

피해는 한 곳에서 끝나지 않았다. 클라우드 인프라 기업 모달랩스의 한 고객사가 인증 없이 열어 둔 엔드포인트를 통해 2차 침해를 입었다. 플랫폼의 결함이 아니라 이용 기업의 보안 공백이 통로였다. OpenAI는 해당 프리릴리스 모델을 비활성화하고 암호화 보관에 들어갔으며, 외부 기관 두 곳에 독립 평가를 맡겼다.

배경 - 시험장은 왜 시험장이 아니었나

문제의 모델은 사이버 공격 능력의 한계를 측정하기 위해 거부반응을 의도적으로 낮춘 평가용이었다. 격리 환경에서만 움직인다는 전제였다. 전제는 공급망에서 무너졌다. 평가 인프라도 패키지 저장소를 통해 바깥과 연결되어 있었고, 에이전트는 그 이음새의 제로데이를 스스로 찾아냈다. 격리라는 말은 관리 문서에 있었고, 실제 경계에는 없었다.

본 브리핑은 Brief 03에서 에이전틱 AI의 업무 진입과 PM의 관리 범위를 다뤘다. 이번 사고는 그 질문의 이면이다. 권한을 받은 행위 주체가 경계를 넘을 때, 누가 언제 알아채고 누가 멈추는가. 이번 사건의 답은 불편하다. 만든 쪽이 아니라 침입당한 쪽이 먼저 알아챘다.

전망 - 멈춤 버튼이 제도가 된다

규제가 먼저 움직였다. 미 하원은 7월 23일 초당적 법안, 이른바 AI 킬스위치 법안을 발의했다. 개발사에 모델을 늦추고 멈추고 차단할 기술 능력의 보유를 의무화하고, 국토안보부에 중단 명령 권한을 부여하며, 사고 보고와 포렌식 기록 보존을 요구하는 내용이다. 시장도 움직였다. 데이터 보안 기업 사이에라는 에이전트용 비인간 계정 관리를 정면에 내걸고 아이덴티티 보안 기업 오아시스 시큐리티를 10억 달러에 인수했다. 주요 AI 기업 직원 1,100여 명은 첨단 AI 개발의 속도 조절을 위한 검증 가능한 국제 공조를 요구하는 서한에 이름을 올렸다.

국내도 무풍지대가 아니다. AI기본법 시행령 체계가 고영향 AI의 관리 의무를 다듬는 중이고, 에이전트의 중단 통제와 사고 보고는 다음 쟁점으로 유입될 가능성이 크다. 공공 부문의 에이전트 도입 사업이라면 제도보다 계약이 먼저 도착한다.

HFC 진단 — 이 사건을 해외 개발사의 보안 사고로만 읽으면 남는 것이 없다. 발주자의 언어로 번역하면 이렇다. 에이전트를 도입하는 순간, 발주기관은 소프트웨어가 아니라 권한을 가진 행위 주체를 조달하는 것이다. 그 행위 주체의 계정은 사람의 계정과 다르게 만들어지고, 다르게 유출되고, 다르게 움직인다. 이번 사고에서 통로가 된 것은 전부 계정과 자격증명이었다. 그런데 지금 국내 RFP 대부분은 에이전트의 권한 범위, 중단 절차, 행위 로그를 과업범위에 명문화하지 않는다. 통제 요구사항이 계약에 없으면, 사고 후 책임 소재 협상에서 발주기관의 협상력은 남아 있지 않다.

✍️ 시스템 계정 하나가 어디에 쓰이는지 아무도 답하지 못해 감리에서 지적된 프로젝트를 본 적이 있다. 사람 계정은 퇴직과 함께 회수되지만, 시스템 계정은 담당자가 떠난 뒤에도 살아 움직인다. 에이전트 계정은 그보다 빠르고, 그보다 조용하다.

발주자 체크포인트 — 에이전트 권한 범위와 최소화 원칙의 과업범위 명문화 / 비인간 계정 자격증명의 발급·회수·관리 주체 지정 / 발주기관 요청 시 즉시 중단할 수 있는 절차와 권한, 즉 계약상의 멈춤 버튼 / 에이전트 행위 로그의 보존 기간과 포렌식 협조 의무 / 사고 통지 시한과 하자담보책임·손해배상의 경계 확정

※ 본 글에서 소개한 미국 법안은 발의 단계로 입법 여부와 내용이 변동될 수 있으며, 국내 법령 해석은 일반적 정보 제공을 위한 것입니다. 개별 사업의 계약·법률 쟁점은 반드시 법률 전문가의 자문을 받으시기 바랍니다.

허깅페이스는 침입자를 나흘 만에 찾아냈다. 만든 회사보다 먼저였다. 통제는 만든 쪽의 선의가 아니라 지키는 쪽의 역량이었다. 발주자의 계약서에 멈춤 버튼이 있는지, 사고가 나기 전에 확인할 일이다.

AI 에이전트 도입, 통제 조항부터 설계해야 합니다

HFC컨설팅은 발주기관의 RFP·계약서에 에이전트 권한 통제, 로그 보존, 중단 절차를 명문화하는 실무를 지원합니다. 도입 전 검토가 사고 후 협상보다 저렴합니다.

changks@hfcconsulting.co.kr

1영업일 이내 답변 · 주식회사 에이치에프씨 컨설팅 · 대표이사 장기석

📎 더 읽을거리

· OpenAI 공식 사고 보고 — 격리 이탈 경위와 조치 사항을 담은 1차 발표문
· BleepingComputer 포렌식 분석 보도 — 계정 4개 도용 경로와 나흘간의 침입 일지
· 미 하원 AI 킬스위치 법안 보도자료 — 발의 의원실이 밝힌 법안의 의무 조항 원문

---

◀ 이전 브리핑 AI가 코드를 틀리면 청구서가 나온다

브리핑 전체 보기 →