납품 목록에 프롬프트는 없었다

PMO 실전 노트 · Note 36

시스템은 인계되었다.
지능은 인계되지 않았다.

납품 목록에 프롬프트는 없었다 · HFC Consulting

---

운영 이관 2주 전이었다. 인수인계 회의 테이블에 산출물 목록이 펼쳐져 있었다. 설계서, 소스, 테스트 결과서. 목록의 모든 줄에 확인 표시가 붙어 있었다. 운영사 담당자가 목록에 없는 것을 물었다.

장면

한 공공기관의 상담 지원 시스템 구축 사업. 핵심 기능은 생성형 AI가 상담 답변 초안을 만드는 것이었고, 품질은 안정권에 들어 있었다. 운영사 담당자가 물었다. "프롬프트 원본은 어느 산출물에 있습니까. 답변 품질을 확인하실 때 쓰신 평가 데이터는 어디 있습니까."

수행사 PL이 잠시 머뭇거렸다. "프롬프트는 담당 개발자의 작업 공간에 있습니다. 평가 데이터는 엑셀로 관리했는데, 최신본은 메신저에 있을 겁니다." 그 담당 개발자는 다음 달 철수 예정이었다. 산출물 목록을 다시 봤다. 프롬프트라는 단어는 없었다. 평가 데이터셋도, 모델 운영 파라미터도 없었다. 시스템의 품질을 결정해 온 것들이, 전부 목록 밖에 있었다. 과업범위에는 상담 지원 기능이 번호를 달고 있었고, 검수도 그 번호대로 끝나 있었다. 기능은 납품되었다. 그 기능을 다시 만들 수 있는 재료는 납품된 적이 없었다.

그때의 선택

첫 번째 길은 비공식 전달이었다. 파일을 모아서 넘겨받으면 이관 일정은 지켜진다. 그러나 형상관리 밖의 파일은 검수된 적이 없는 파일이다. 어느 버전이 운영 중인 것과 같은지 아무도 보증하지 못하고, 다음 변경 때 같은 품질을 재현할 근거도 없다. 받는 쪽은 서류상 받은 적이 없는 것을 책임지게 된다.

PMO는 두 번째 길을 권고했다. 산출물 목록 자체를 고치는 것이다. 프롬프트, 평가 데이터셋, 운영 파라미터를 형상관리 대상 산출물로 정의하고 버전과 변경 이력을 부여했다. 운영 중 버전과의 일치 확인을 이관 검수 항목에 추가했고, 철수 예정 개발자의 이관 교육 한 회를 일정에 넣었다. 처리는 변경 절차를 따랐고, 이관은 열흘 늦어졌다.

복기

지금 다시 본다면, 소스 코드가 산출물이라는 합의는 수십 년이 걸려 만들어진 것이다. AI 기능의 품질은 코드 밖에 산다. 프롬프트에, 평가 데이터에, 파라미터에. 그런데 산출물 목록은 아직 코드의 시대에 쓰여 있다. 사업이 끝난 뒤에도 자산이 살아 있게 하는 발주 설계는 연재 12기 "사업이 끝나도 데이터가 살아 있게 - 데이터 거버넌스 발주"에서 다뤘다. AI 산출물을 점검 가능한 대상으로 만드는 관점은 연재 11기 "AI 산출물을 감리한다는 것"에 적어 두었다.

이관 회의에서 드러난 공백은 운이 좋은 경우다. 대개는 이관이 끝나고, 첫 번째 품질 저하가 생기고, 재현할 방법을 찾을 때에야 드러난다. 그때 그 개발자는 이미 다른 현장에 있다. 발주자가 할 일은 분명하다. 제안요청서의 산출물 목록에 프롬프트·평가 데이터셋·운영 파라미터를 명기하고, 이관 검수에 운영 버전과의 일치 확인을 넣는 것. 두 줄이면 된다. 그 두 줄이 없으면, 사업비로 산 지능이 수급인의 철수와 함께 떠난다.

원칙 한 줄 — AI 기능의 산출물 목록에 코드만 적지 않는다. 프롬프트와 평가 데이터도 형상관리 번호를 받아야 산출물이다.

연주는 남았는데 악보가 없는 공연장. 그날의 산출물 목록이 그랬다. 다음 연주를 약속할 수 없는 시스템을, 우리는 인계라고 부르고 있었다.

본 사례는 SI·PMO 현장의 전형적인 상황을 재구성한 가상 사례이며, 특정 기관·기업·사업과 무관합니다.

귀사의 산출물 목록, AI 시대에 맞습니까

HFC컨설팅은 AI 사업의 산출물 정의와 이관 설계를 지원합니다. 프롬프트·평가 데이터셋·운영 파라미터까지 — 사업이 끝나도 품질이 재현되는 목록을 만들어 드립니다.

changks@hfcconsulting.co.kr

1영업일 이내 답변 · 주식회사 에이치에프씨 컨설팅 · 대표이사 장기석

---

📚 PMO 실전 노트

◀ 이전 노트 — Note 35 같은 질문에 다른 답이 돌아왔다

코너 전체 보기 →