AI 산출물을 감리한다는 것 (05/08)

AI 시대의 감리·PMO 위탁 가이드 · Ep.05

코드는 완벽했다.
누가 썼는지는 아무도 몰랐다.

AI 산출물을 감리한다는 것 · HFC Consulting

---

산출물 검토 회의였다. 코드 품질이 눈에 띄게 좋았다. 검토자가 물었다. "이 모듈, 누가 작성했습니까." 개발자가 잠시 머뭇거렸다.

"거의 다 생성 도구가 만들었습니다." 그 순간 검토의 질문이 통째로 바뀌어야 했다.

품질이 아니라 출처를 묻는다

전통적인 감리는 산출물이 기준을 충족하는지를 본다. 요구사항을 만족하는가, 표준을 지켰는가, 결함이 없는가. AI가 만든 산출물에는 이 질문 앞에 새로운 질문이 하나 붙는다. 이것은 어디에서 왔는가.

생성 도구의 산출물은 그럴듯함에서 강하다. 문법이 맞고 구조가 깔끔하다. 그래서 육안 검토를 쉽게 통과한다. 그러나 그럴듯함은 정확함이 아니다. AI가 코드를 틀리면 청구서가 나온다는 사실은 9기 팀의 AI 관리에서 다뤘고, 그 코드가 조직의 자산으로 들어오는 관문은 3기 산출물 관문에서 다뤘다. 감리의 자리에서 이 두 문제가 한꺼번에 온다.

전통적 감리가 잘 잡던 결함은 눈에 걸리는 것이었다. 표준을 어긴 코드, 빠진 문서, 어긋난 요구사항. AI 산출물의 위험은 정반대다. 표준을 지키고 문서를 갖추고 요구사항에 들어맞는 것처럼 보이면서, 그 안에 검증되지 않은 판단이 숨어 있다. 감리가 겉면만 보면 오히려 AI 산출물이 사람의 것보다 더 깨끗해 보인다. 그래서 검토의 눈을 겉면에서 근거로 옮겨야 한다.

네 가지를 새로 점검한다

AI 산출물 감리는 기존 점검항목에 네 줄을 더한다.

점검 축	묻는 것
출처	AI 사용 여부가 고지되었는가, 어느 부분에 쓰였는가
재현성	같은 입력에서 같은 결과가 나오는가, 검증 절차가 남는가
권리	지식재산권과 라이선스에 문제가 없는가
증적	검증했다는 기록이 산출물에 붙어 남는가

이 네 축은 서로 연결된다. 출처가 고지되지 않으면 재현성을 확인할 수 없고, 재현성이 없으면 권리 문제를 판단할 수 없으며, 증적이 없으면 셋 다 나중에 증명할 수 없다. 감리의 역할은 이 사슬이 끊긴 지점을 찾아 지적사항으로 남기는 것이다.

네 축 가운데 현장에서 가장 소홀히 다뤄지는 것이 권리다. AI가 생성한 코드가 학습 데이터의 특정 저작물과 유사할 때, 그 산출물을 발주기관의 자산으로 인수해도 되는가는 간단히 답하기 어렵다. 감리가 이 문제를 지적하지 않고 넘어가면, 몇 년 뒤 권리 분쟁이 생겼을 때 발주기관은 자신이 검증했다고 믿었던 산출물 위에 서 있게 된다. 코드가 작동하느냐와 그 코드를 합법적으로 소유하느냐는 다른 질문이고, 감리는 두 질문을 모두 던져야 한다.

고지를 벌하지 않는다

AI 산출물 감리에서 가장 중요한 설계 원칙은 역설적이다. AI를 썼다고 고지한 것을 벌하면 안 된다. 고지에 불이익이 따르면 아무도 고지하지 않고, 고지가 사라지면 검증의 첫 단추가 없어진다. 최근 산출물의 투명성 흐름 — 이를테면 생성 도구가 남기는 워터마크 — 도 관여를 증명할 뿐 저작을 증명하지는 못한다. 워터마크가 있다고 그 산출물이 검증된 것은 아니며, 워터마크가 없다고 사람이 온전히 작성한 것도 아니다. 기술적 표식은 검증의 재료일 뿐 결론이 아니다. 이 한계는 이슈 브리핑에서 다룬 그대로다.

AI 산출물 감리 원칙 — 사용 고지 의무화 / 고지에 불이익 금지 / 출처·재현성·권리·증적 4축 점검 / 최종 판단은 사람 / 검증 기록의 산출물 병행 보관

감리 시점과 생성 속도의 어긋남

여기에 구조적 난제가 하나 있다. 감리는 정해진 시점에 온다. 설계가 끝나고, 사업이 끝날 때다. 그러나 AI 산출물은 매주 쌓인다. 몇 달 뒤의 감리가 그 사이의 산출물을 뒤집으면 사업은 크게 흔들린다. 시점 검증과 상시 생산은 주기가 맞지 않는다.

그래서 AI 사업에서는 감리의 시점 검증만으로 부족하다. PMO의 상시 점검이 감리의 앞에 서서, 검증 기준을 미리 맞춰 두어야 한다. 감리가 나중에 볼 기준을 PMO가 매주 적용하면, 몇 달 뒤의 판정이 뒤집기가 아니라 확인이 된다. 이 접점을 6편에서 다룬다.

한 가지 균형이 필요하다. AI 산출물 감리를 지나치게 조이면 수행사는 도구 사용을 숨기고, 숨기면 검증의 첫 단추인 고지가 사라진다. 반대로 느슨하게 두면 검증되지 않은 산출물이 그대로 자산이 된다. 그 사이를 지키는 것은 기준의 명확함이다. 무엇을 고지해야 하고, 어떤 증적을 남겨야 하며, 어느 등급의 결함이 검수를 막는지가 착수 시점에 문서로 정해져 있으면, 수행사는 숨길 이유가 없고 감리는 판단할 근거가 있다. 기준이 흐릴 때만 감리는 통제와 방임 사이에서 흔들린다.

감리 스스로가 AI 도구를 쓰는 문제도 남는다. 산출물의 양이 늘면 감리도 자동 점검 도구에 기대게 되는데, 이때 감리의 판단 근거가 어디까지 도구에 의존했는지가 다시 문제가 된다. 도구가 통과시킨 것을 감리가 통과시켰다고 볼 수 있는가. 그래서 AI 산출물 감리의 마지막 원칙은 감리 자신에게도 적용된다. 도구는 넓게 훑고, 사람은 깊게 판단한다. 최종 서명은 언제나 사람의 몫이다.

AI 산출물을 감리한다는 것은 결국 신뢰의 사슬을 검사하는 일이다. 코드가 좋은지가 아니라, 이 코드를 믿어도 되는 근거가 남아 있는지를 묻는다. 그럴듯함은 검증의 시작이지 끝이 아니다. 감리가 이 질문을 놓치면, 가장 깨끗해 보이는 산출물이 가장 위험한 산출물이 된다.

본 글은 일반적인 실무 관점을 정리한 것으로 개별 사안에 대한 법률 자문이 아닙니다. AI 산출물의 지식재산권과 검증 기준은 관계 법령과 소관 기관의 최신 지침을 확인하시기 바랍니다.

📎 더 읽을거리

정보시스템 감리기준 (행정안전부 고시 제2021-4호) — 산출물 점검 항목과 지적사항 처리의 원문입니다.

HFC 이슈 브리핑 · 산출물 워터마크와 검수 — 관여 증명과 저작 증명의 차이를 다룬 브리핑입니다.

HFC 관점

AI 산출물이 육안 검토를 쉽게 통과한다면, 그것은 검증되었다는 뜻이 아니라 검증 기준이 낡았다는 뜻입니다. 에이치에프씨 컨설팅은 출처·재현성·권리·증적 4축 감리 점검항목을 사업 특성에 맞게 설계해 드립니다.

changks@hfcconsulting.co.kr

1영업일 이내 답변 · 주식회사 에이치에프씨 컨설팅 · 대표이사 장기석

---

📚 AI 시대의 감리·PMO 위탁 가이드

◀ 이전 편 독립성은 선언이 아니라 계약이다 (04/08)

다음 편 ▶ 지적사항과 검수기준의 정합 (06/08)

연재 전체 보기 →