데이터와 모델 산출물 - 신설 산출물 2 (07/08)

AI 시대의 방법론 테일러링 · Ep.07

코드에는 버전이 있었다.
데이터에는 없었다.

신설 산출물 2 - 데이터와 모델 산출물 · HFC Consulting

---

오픈 1년 뒤, AI 기능의 응답 품질이 눈에 띄게 떨어졌다. 원인 회의가 소집됐다. 코드는 형상관리 이력이 있어 반나절 만에 혐의를 벗었다. 문제는 그 다음이었다. 모델이 어느 버전이었는지, 참조 데이터가 언제 어떻게 바뀌었는지 — 아무도 문서로 답하지 못했다. 코드에는 있던 것이 데이터와 모델에는 없었다. 이력이다.

신설 산출물의 두 번째 편. 시스템에 AI 기능이 들어가는 사업이라면, 납품 목록에 새로 올라야 할 세 가지 문서를 다룬다.

존재 이유 — 소프트웨어가 아닌 것이 품질을 결정한다

전통적 산출물 체계는 소프트웨어를 증명 대상으로 설계됐다. 그런데 AI 기능의 품질은 코드 밖에서 결정된다. 어떤 데이터를 참조하는가, 어떤 모델을 어떤 조건으로 쓰는가, 품질을 무엇으로 판정하는가. 3기 3화에서 데이터 입력 기준을, 2기 7화에서 데이터 보호 조항을 다뤘다 — 규율은 있는데 그 규율의 이행을 증명할 산출물이 표준 목록에 없다. 계약과 거버넌스가 앞서 나가고 산출물 체계가 뒤따라오지 못한 공백 — 증명 대상이 생겼는데 문서가 없는 상태이고, 1편의 판정 기준으로 정확히 신설의 자리다. 발주자가 물을 수 있게 되었는데 수급인이 답할 양식이 없다면, 그 공백은 언제나 수급인의 리스크로 청구된다.

재설계 — 신설 산출물 3종의 표준 목차

산출물	증명하는 것	담는 것
데이터 명세 (신설)	무엇을 근거로 동작하는가	참조·학습 데이터의 출처 · 권리와 이용 조건 · 개인정보 처리 근거 · 갱신 주기와 변경 이력
모델 카드 (신설)	무엇으로 어디까지 하는가	모델·버전 · 용도와 사용 조건 · 알려진 한계와 금지 용도 · 교체 시 재검증 절차
평가 기준서 (신설)	품질을 무엇으로 판정하는가	평가 항목과 목표치 · 평가용 데이터셋 · 판정 절차 · 운영 중 재평가 주기 — 검수 조항과 연결

원칙 — 스냅숏이 아니라 이력이다

세 문서의 공통 원칙은 이력이다. 작성 시점의 스냅숏이 아니라, 바뀔 때마다 기록이 쌓이는 문서로 설계해야 도입부의 회의에서 답할 수 있다. 납품 시점에 한 번 쓰고 캐비닛에 들어가는 문서라면 만들지 않는 편이 낫다. 코드가 형상관리로 누린 것을 데이터와 모델에게도 주는 것 — 새로울 것 없는 원칙을 새 대상에 적용하는 일이다.

반론과 대응 — 상용 모델인데도 우리가 써야 하는가

반론. "외부 상용 모델을 쓰는데 모델 카드까지 우리가 써야 하나." 써야 한다. 다만 처음부터 만드는 것이 아니라, 제공사가 공개한 정보에 우리 사업의 사용 조건과 한계 확인 결과를 얹는 한두 쪽이면 된다. 제공사의 문서는 모델 일반의 성능을 말하고, 우리의 카드는 이 사업의 용도에서 확인한 것과 확인하지 못한 것을 말한다. 책임지는 범위를 문서로 긋는 일이므로, 오히려 수급인을 보호한다.

발주자 쪽 반론도 있다. "검수 항목이 늘어나는 것 아닌가." 늘어나는 것이 아니라 드러나는 것이다. 지금도 AI 기능의 품질 리스크는 존재한다 — 문서가 없어 검수 단계에서 보이지 않을 뿐이다. 발주자 입장에서 이 세 문서가 없는 AI 기능 납품이야말로 검수 불가능한 납품이고, 운영 단계에서 도입부의 회의를 예약해 둔 납품이다.

데이터·모델 산출물 체크포인트 — 참조 데이터의 출처와 권리를 문서로 답할 수 있는가 / 모델 버전 교체 시 재검증 절차가 있는가 / 평가 기준이 검수 조항과 연결되어 있는가 / 세 문서 모두 변경 이력을 쌓는 구조인가

좋은 재단사는 원단마다 견본을 남긴다. 어떤 천으로 지었는지 모르는 옷은 수선할 수 없기 때문이다. 데이터와 모델의 명세는 AI 시대의 원단 견본이다. 다음 편이 완결이다 — 지금까지의 판정을 문서 한 장으로 남기는 법, 테일러링 결과서다.

※ 본 연재의 판정·재설계 기준은 일반적 참고용이며, 발주기관의 표준과 계약 조건, 사업 특성에 맞는 조정이 필요합니다.

📎 더 읽을거리
· NIST AI Risk Management Framework — AI 시스템 문서화·리스크 관리의 국제 참조 틀
· 생성형 AI 개인정보 처리 안내서 (개인정보보호위원회) — 데이터 명세의 개인정보 처리 근거 기준

HFC Consulting의 관점

AI 기능이 포함된 사업의 납품 목록을 보내 주시면, 데이터·모델 산출물 세 종의 필요 범위를 사업 규모에 맞게 판정해 드립니다. 전부 갖추는 것이 아니라 맞게 갖추는 것이 테일러링입니다.

✉ changks@hfcconsulting.co.kr

1영업일 이내 답변 · 주식회사 에이치에프씨 컨설팅 · 대표이사 장기석

---

📚 연재 · AI 시대의 방법론 테일러링
◀ 이전 편 (06/08) AI 활용 내역서와 프롬프트 기록 - 신설 산출물 1
다음 편 ▶ (08/08) 테일러링 결과서 작성 실무 (완결)
연재 전체 보기 →