같은 질문에 다른 답이 돌아왔다

PMO 실전 노트 · Note 35

시연은 통과했다.
재현은 실패했다.

같은 질문에 다른 답이 돌아왔다 · HFC Consulting

---

검수 2주차였다. 한 달 전 시연에서 박수를 받았던 기능이, 검수 테이블 위에서 멈춰 섰다. 기능은 죽지 않았다. 다만 어제의 답과 오늘의 답이 달랐다.

장면

한 공공기관의 민원 처리 시스템 구축 사업. 생성형 AI가 민원 회신문 초안을 작성하는 기능이 핵심 과업이었다. 검수 담당자가 시연 때와 같은 민원 사례를 입력했다. 답이 달랐다. 문장 구조가 달랐고, 인용한 근거 조항이 달랐다. 세 번째 입력에서는 시연 때 없던 안내 문구가 붙어 나왔다.

수행사 PM이 말했다. "생성형 모델의 특성입니다. 오류가 아닙니다." 검수 담당자가 물었다. "그러면 무엇이 합격입니까." 회의실이 조용해졌다. 검수기준서를 펼쳤다. 해당 항목에는 한 줄이 있었다. "회신문 초안 생성 기능이 정상 동작할 것." 정상이 무엇인지는 어디에도 없었다. 그 한 줄로는 합격도 불합격도 선언할 수 없었다. 검수 담당자는 서명을 보류했고, 수행사는 기성 일정표를 꺼냈다. 양쪽 모두 틀린 말을 하지 않았다. 문서가 비어 있었을 뿐이다.

그때의 선택

길은 둘이었다. 하나는 재시연이었다. 한 번 더 돌려서 그럴듯한 답이 나오면 합격 처리하는 것. 일정은 지켜진다. 대신 기준은 공란으로 남고, 하자담보책임의 경계도 공란으로 남는다. 다른 하나는 검수를 멈추고 기준부터 다시 쓰는 것이었다.

PMO는 후자를 택했다. 평가용 민원 데이터셋 100건을 고정했다. 회신문에 반드시 들어가야 할 요소와 들어가면 안 되는 요소를 정의했다. 합격선은 표본 합격률로 명문화했다. 법령 인용이 걸린 임계 사례는 표본이 아니라 전건을 점검하기로 했다. 검수는 2주 늦어졌고, 그 2주는 변경 절차로 기록됐다.

반론이 없지 않았다. 수행사는 물었다. "표본 합격률 기준이면, 남은 5%의 오답은 수용한다는 뜻입니까." 대응은 이렇게 정리됐다. 오답의 수용이 아니라 오답의 등급화다. 안내 문구의 어색함과 법령 조항의 오인용은 같은 무게가 아니다. 치명 결함은 0건, 경결함은 비율 관리. 사람의 업무를 검사하던 방식 그대로였다.

복기

지금 다시 본다면, 문제는 검수일이 아니라 발주일에 심어져 있었다. 같은 입력에 같은 출력이 나오지 않는 시스템을 사면서, 검수기준은 같은 출력을 전제로 쓰여 있었다. 지적사항과 검수기준이 어긋날 때 무슨 일이 생기는지는 연재 11기 "지적사항과 검수기준의 정합"에서 다뤘다. 품질이라는 말을 검수 가능한 언어로 바꾸는 방법은 연재 12기 "데이터 품질을 검수기준으로 바꾸는 법"에 적어 두었다.

하나 더 남는 것이 있다. 고정한 평가 데이터셋은 검수일에 쓰고 버리는 물건이 아니다. 운영 단계에서 모델이 바뀔 때마다 같은 100건을 다시 돌리면, 그것이 회귀 평가가 된다. 검수기준이 운영의 품질 계기판으로 이어지는 것이다.

검수일에 만든 기준은 협상의 산물이 된다. 발주일에 만든 기준은 기준이 된다. 같은 문장이라도 쓰인 날짜가 효력을 가른다.

원칙 한 줄 — AI 기능의 검수기준은 정답이 아니라 허용 범위를 적는다. 그리고 그 범위는 검수일 전에, 발주 문서에 적는다.

그날 회의실에서 가장 비쌌던 것은 2주의 지연이 아니었다. "정상 동작"이라는 네 글자였다.

본 사례는 SI·PMO 현장의 전형적인 상황을 재구성한 가상 사례이며, 특정 기관·기업·사업과 무관합니다.

AI 기능의 검수기준, 지금 몇 줄입니까

HFC컨설팅은 발주 문서의 검수기준을 AI 산출물에 맞게 설계합니다. 평가 데이터셋 구성, 표본 합격률, 임계 사례 전건 점검 — 검수일에 다투지 않도록 발주일에 적어 드립니다.

changks@hfcconsulting.co.kr

1영업일 이내 답변 · 주식회사 에이치에프씨 컨설팅 · 대표이사 장기석

---

📚 PMO 실전 노트

◀ 이전 노트 — Note 34 검수는 끝났다, 조건은 남았다

코너 전체 보기 →