코드와 테스트 증빙 - 개발 산출물 테일러링 2 (05/08)

AI 시대의 방법론 테일러링 · Ep.05

테스트는 다 통과했다.
아무도 안심하지 못했다.

개발 산출물 테일러링 2 - 코드와 테스트 증빙 · HFC Consulting

---

단위테스트결과서가 올라왔다. 테스트 케이스 4,800건, 통과율 100%. 품질 담당자가 몇 건을 열어 봤다. AI가 코드를 쓰고, AI가 테스트를 쓰고, AI가 결과서를 정리한 것이었다. 형식은 완벽했다. 그런데 그 4,800건이 무엇을 확인한 것인지, 확인했어야 할 것을 확인한 것인지는 결과서 어디에도 없었다. 출제자와 응시자와 채점자가 같은 시험이었다.

개발 산출물의 두 번째 재단대. 단위테스트결과서, 코드리뷰 기록, 결함 대장 — 품질을 증명하던 문서들이다.

존재 이유 — 증빙은 활동이 아니라 판단을 남기는 것이다

테스트 증빙의 목적은 "테스트를 했다"의 증명이 아니다. "확인해야 할 것을 확인했고, 남은 위험은 이것이다"라는 판단의 증명이다. AI 이전에는 이 둘이 자연히 붙어 있었다. 테스트를 짜는 사람이 무엇을 확인할지 생각해야 했으므로, 활동의 기록이 곧 판단의 기록이었다. 3기 4화에서 본 대로, 자동 생성은 이 연결을 끊는다. 활동은 폭증하고 판단은 실종된다.

형해화 — 100%라는 착시

AI가 생성한 테스트는 코드가 하는 일을 확인한다. 코드가 해야 할 일을 확인하는 것이 아니다. 이 차이가 통과율 100%의 착시를 만든다. 잘못 구현된 코드에 맞춘 테스트는 잘못을 통과시킨다. 코드리뷰도 같은 압력을 받는다. 4기 8화에서 본 대로 생성 속도가 검토 속도를 추월하면, 리뷰는 형식 승인으로 퇴화한다. 여기에 출처의 문제가 겹친다. AI가 생성한 코드에 제3자 라이선스 코드가 섞여 들어와도, 지금의 증빙 체계에는 그것을 걸러낸 기록이 남지 않는다. 지식재산권 분쟁이 터졌을 때 "확인했다"고 말할 수는 있어도 증명할 수는 없는 상태 — 2편의 계획서처럼, 여기서도 증명 없는 활동은 없는 것과 같다.

판정 — 코드·테스트 증빙 판정표

산출물	판정	근거와 재설계
단위테스트결과서	축소	건별 결과 나열은 파이프라인 로그가 증빙. 문서에는 검증 전략과 미검증 잔여 위험만 남긴다
코드리뷰 기록	강화	AI 생성 코드에 대한 사람의 검토 증적으로 격상. 누가 어느 범위를 어떤 관점으로 봤는지 기록
결함 대장	유지	발견·조치·재발 방지의 이력이 품질 관리의 증명. 트래커 원본 기준, 이중 기재 금지
AI 생성 코드 검증 기록	신설	생성 구간 식별, 보안 취약점 점검, 제3자 라이선스 확인 — 세 가지를 한 기록으로 묶는다

반론과 대응 — 출제 기준을 누가 쥘 것인가

반론. "테스트를 AI가 짜면 안 된다는 것인가." 아니다. 짜는 것은 AI가 하되, 무엇을 확인할지의 목록은 사람이 먼저 정한다는 것이다. 요구사항에서 출발한 검증 항목 목록 — 정상 경로, 예외 상황, 경계값, 성능 조건 — 을 사람이 확정하고, 그 목록을 채우는 테스트 코드의 생성은 AI에게 맡긴다. 출제 기준을 사람이 쥐고 있으면 채점의 자동화는 축복이다. 기준까지 넘기는 순간 4,800건의 통과가 아무것도 증명하지 못하게 된다.

또 하나의 반론. "리뷰 기록 강화는 개발 속도를 죽이지 않나." 전수 리뷰를 하자는 것이 아니다. 위험도에 따라 리뷰의 깊이를 미리 정하고 — 결제·인증·개인정보 처리 구간은 전수, 화면 표시 구간은 표본 — 그 기준 자체를 기록에 남기자는 것이다. 어디를 깊이 봤고 어디를 넘겼는지가 문서로 남으면, 넘긴 것도 판단이 된다. 남지 않으면 태만이 된다.

코드·테스트 증빙 체크포인트 — 검증 항목 목록을 사람이 먼저 확정하는가 / AI 생성 구간을 식별할 수 있는가 / 라이선스 점검이 증빙에 남는가 / 결과서에 잔여 위험 난이 있는가

검사는 바늘땀을 세는 일이 아니라 옷이 버티는지를 묻는 일이다. 증빙도 같다. 활동의 양이 아니라 판단의 존재가 품질이다. 다음 편부터는 기존 목록에 없던 문서들 — AI 시대가 새로 요구하는 신설 산출물이다.

※ 본 연재의 판정·재설계 기준은 일반적 참고용이며, 발주기관의 표준과 계약 조건, 사업 특성에 맞는 조정이 필요합니다.

📎 더 읽을거리
· OWASP — AI 생성 코드 보안 점검 관점의 기초 자료
· SPDX License List — 제3자 라이선스 확인의 표준 목록

HFC Consulting의 관점

테스트 증빙 체계가 AI 생성 코드 시대에 유효한지 점검해 드립니다. 결과서 양식 하나와 최근 사업의 통과율 추이만 있으면 진단이 시작됩니다.

✉ changks@hfcconsulting.co.kr

1영업일 이내 답변 · 주식회사 에이치에프씨 컨설팅 · 대표이사 장기석

---

📚 연재 · AI 시대의 방법론 테일러링
◀ 이전 편 (04/08) 요구사항과 설계 문서 - 개발 산출물 테일러링 1
다음 편 ▶ (06/08) AI 활용 내역서와 프롬프트 기록 - 신설 산출물 1
연재 전체 보기 →