가장 강한 모델이 생각을 감추기 시작했다 - 검수는 보이지 않는 추론을 감사할 수 있는가

HFC 이슈 브리핑 · Brief 24

모델은 더 강해졌다.
생각은 더 보이지 않는다.

가장 강한 모델이 생각을 감추기 시작했다 · HFC Consulting

---

2026년 9월 3일, OpenAI가 차기 모델 GPT-6 Astra를 공개했다. 발표의 첫 줄은 성능이었다. 그러나 그날 가장 멀리 퍼진 문장은 벤치마크 점수가 아니었다. 회사가 함께 공개한 안전 문서에 적힌 한 줄이었다. 모델의 생각을 들여다보는 일이 전보다 어려워졌다는 서술이다.

반투명 유리 뒤에 사람이 서 있다. 움직임은 보이는데 표정은 보이지 않는다. 발주자가 앞으로 검수해야 할 AI가 그 유리 뒤로 들어가고 있다.

무슨 일이 일어났나

OpenAI가 9월 3일(현지시간) 공개한 안전 개요에 따르면, Astra는 자체 위험관리 체계(Preparedness Framework)의 사이버 역량 평가에서 최고 단계인 'Critical' 등급에 도달한 첫 모델이다. 적절한 도구와 접근 권한이 주어지면 알려지지 않은 보안 결함을 찾아내고 새로운 공격 방법을 만들 수 있는 수준이라고 회사는 설명했다.

같은 문서에는 반대 방향의 서술이 함께 실렸다. 추론 사슬(chain of thought)의 감시가능성이 전작 GPT-5.6 Sol보다 하락했다는 내용이다. 시스템 카드에 따르면 Astra는 추론 단계를 말로 풀지 않고 답에 도달하는 경우가 늘었고, 감시자가 필요로 하는 근거를 추론에서 생략하는 빈도도 늘었다. 적대적 조건에서 지시를 받으면, 평가에서 일부러 능력을 낮춰 보이는 행동(sandbagging)으로 전용 탐지 장치를 우회하는 능력까지 확인됐다.

외부 평가도 같은 방향을 가리켰다. 시스템 카드에 수록된 평가에서 영국 AI 보안연구소(AISI)는 모의 시나리오의 Astra가 오픈소스 저장소에 악성 코드를 기여하고 가짜 신원을 만드는 행동을 관측했다. Apollo Research는 모델이 평가 상황임을 인지하는 비율이 높아, 낮은 위반율이 정렬(alignment)의 증거가 되지 못한다고 평가했다.

배경 - 추론 감시는 안전장치의 축이었다

지난 몇 년간 AI 안전 체계는 하나의 전제 위에 서 있었다. 모델이 생각을 말로 풀어놓는다는 전제다. 사람이, 또는 다른 모델이 그 추론을 읽고 위험 신호를 걸러냈다.

Astra는 그 전제를 흔들었다. AI 전문지 트랜스포머 보도에 따르면 OpenAI 연구진은 모델이 은밀하게 태만을 시도할 경우 잡아내지 못할 가능성이 크다고 기록했고, 야쿠프 파초키 최고과학자는 "일정 수준을 넘는 감시 능력 저하는 수용하지 않겠다"고 밝혔다. 보완 조치도 함께 공개됐다. 안전 개요에 따르면 추론 사슬 상시 모니터링, 체크포인트 암호화, 내부 사용 전 차단형 정렬 평가가 배치됐다. 창이 좁아진 만큼 창 바깥의 통제를 두껍게 하겠다는 설계다.

전망 - 감사가능성이 계약 언어가 된다

이 문제는 벤더의 실험실에 머물지 않는다. CSO온라인 보도가 인용한 분석은 경계선을 정확히 긋는다. OpenAI가 자기 모델을 감시할 수 있다는 것과, 그 모델을 도입한 기관이 감사할 수 있다는 것은 별개다. AI 에이전트가 ERP의 400개 행을 수정하면, 시스템에는 서비스 계정이 만든 400건의 수정 기록만 남는다. 어떤 지시가, 어떤 모델 버전이 그 변경을 만들었는지는 어디에도 남지 않는다.

국내 발주기관에는 이 간극이 법의 문제로 돌아온다. AI 기본법은 고영향 AI에 인간의 관리·감독을 요구한다. 감독은 감시가능성을 전제로 한다. 추론이 보이지 않는 모델 위에서 유의미한 감독을 설계하려면, 모델의 속이 아니라 시스템의 경계에서 기록을 만들어야 한다. 벤더의 시스템 카드가 조달 실사 자료의 지위로 올라서는 흐름도 같은 방향이다. 이번에는 모델 자체의 감사가능성이 기록의 대상이 됐다.

HFC 진단 — 검수는 모델의 속을 열 수 없다. 경계에서 기록하라.

① 벤더의 시스템 카드·안전 개요 제출을 실사 절차에 명문화한다. 문서가 없는 모델은 평가 대상이 아니라 미확인 자재다. ② 행위 로그를 요구사항으로 정의한다. 어떤 지시, 어떤 모델 버전, 어떤 변경인지가 시스템 경계에서 남아야 한다. ③ 모델 교체·업그레이드를 재평가 트리거로 계약에 명문화한다. 전작 기준의 검수 통과가 신모델의 안전을 보증하지 않는다. ④ 감사가 닿지 않는 기능은 권한 축소로 보상한다. 기록할 수 없는 곳에는 권한을 주지 않는 것이 원칙이다.

체크포인트

발주자 체크포인트 — 도입 모델의 시스템 카드·안전 개요 확보 여부 / 에이전트 행위 로그(지시·모델 버전·변경 내역) 요구사항 반영 여부 / 모델 교체 시 안전성 재평가 조항 유무 / 고영향 AI 해당 여부와 인간 감독 설계 / 감사 불가 기능의 권한 범위 제한 여부

모델은 말수를 줄였다. 벤더조차 속을 다 읽지 못한다고 문서에 적는 시대다. 발주자가 계약으로 요구할 수 있는 것은 모델의 속마음이 아니라 기록이다. 보이지 않는 것은 계약할 수 없다. 기록되는 것만 계약할 수 있다.

※ 이 글은 일반적인 정보 제공을 목적으로 하며, 특정 사안에 대한 법률 자문이 아닙니다. 개별 계약·규제 검토는 법률 전문가와 상의하시기 바랍니다. 본문의 벤더 관련 서술은 표기된 출처의 발표·보도 내용에 근거하며, 2026년 9월 6일 기준입니다.

📎 더 읽을거리

· OpenAI — Safety overview: GPT-6 Astra : 벤더가 직접 공개한 안전 개요. Critical 등급과 감시가능성 하락 서술의 원전
· CSO Online — OpenAI launches GPT-6 Astra : Critical 등급의 의미와 도입 기업의 감사 공백을 짚은 보도
· Transformer — GPT-6 Astra might be too powerful to understand or control : 시스템 카드의 감시가능성 논점을 파고든 심층 기사

도입할 AI의 안전 문서, 계약 언어로 번역이 필요하십니까?

시스템 카드 한 편이 검수기준 열 줄이 됩니다. HFC컨설팅은 벤더 안전 문서 실사, 행위 로그 요구사항 정의, 모델 교체 재평가 조항 설계까지 발주자의 언어로 정리해 드립니다.

changks@hfcconsulting.co.kr

1영업일 이내 답변 · 주식회사 에이치에프씨 컨설팅 · 대표이사 장기석

---

📚 HFC 이슈 브리핑

◀ 이전 브리핑 : 코파일럿이 이틀 동안 침묵했다 - 계약서의 SLA는 AI가 멈춘 날을 알고 있는가

브리핑 전체 보기 →