AI 시대의 AI 도입 발주 가이드 · Ep.03
순위표의 1위를 골랐다.
우리 업무에서는 아니었다.
벤치마크는 제안서가 아니다 - 모델 선정의 평가표화 · HFC Consulting
제안서 평가장이었다. 세 제안사가 각자 다른 모델을 들고 왔고, 세 제안서 모두 벤치마크 순위표를 첨부했다. 공교롭게도 세 모델 모두 1위였다. 순위표가 서로 달랐을 뿐이다. 평가위원들은 세 장의 1위 증명서 앞에서 무엇을 평가해야 하는지 알 수 없었다.
순위표의 세 가지 함정
공개 벤치마크는 연구의 도구이지 조달의 근거가 아니다. 이유는 셋이다. 첫째, 오염. 벤치마크 문제가 모델의 학습 데이터에 섞여 들어가면 점수는 실력이 아니라 암기를 측정한다. 이 현상은 학계가 공식적으로 다루는 연구 주제로, 2024년의 서베이 논문이 유형과 대응을 정리해 두었다. 둘째, 거리. 수학 올림피아드 점수는 민원 회신문의 품질을 보증하지 않는다. 측정된 과제와 우리 과업 사이의 거리가 멀수록 점수는 장식이 된다. 셋째, 시점. 순위는 모델 버전이 바뀔 때마다 움직인다. 제안서의 순위표는 평가일 기준의 과거다.
거리의 문제는 한국의 발주 현장에서 더 크다. 공개 벤치마크의 다수는 영어 과제이고, 우리 과업은 공문서 문체의 한국어, 도메인 고유의 용어, 기관 내부의 양식 위에서 돌아간다. 영어 순위표 1위가 한국어 민원 회신에서 1위라는 증거는 어디에도 없다. 측정과 과업의 거리를 좁히는 유일한 방법이 다음 절의 시험지다.
공개 평가 자체가 무용하다는 말이 아니다. 스탠퍼드의 HELM처럼 방법과 데이터를 공개하고 다각도로 측정하는 체계는 후보군을 추리는 데 유용하다. 문제는 그것으로 선정을 끝내는 것이다. 후보를 고르는 도구와 계약 상대를 정하는 근거는 다른 물건이다.
우리 업무로 만든 시험지
대안은 발주자의 평가셋이다. 만드는 법은 과업보다 단순하다. 실제 업무에서 대표 사례를 고른다. 많을 필요 없다. 유형을 덮는 50~200건이면 시작할 수 있다. 사례마다 좋은 답의 조건을 적는다. 반드시 들어가야 할 요소, 들어가면 안 되는 요소, 치명 오류의 정의. 민원 회신이라면 '관련 조례 인용 필수, 처리 기한 명시 필수, 확정적 법률 판단 금지'처럼 그 업무를 아는 사람만 쓸 수 있는 문장들이다. 이 문장들을 쓸 사람이 현업에 있다는 것, 그것이 발주자의 숨은 자산이다. 민감정보는 가명처리한다. 테스트 데이터에 실명이 들어가는 순간 무슨 일이 생기는지는 노트 19화가 기록해 두었다.
구성에는 비율이 있다. 전형 사례 70%(일상 업무의 대표 유형), 경계 사례 20%(판단이 갈리는 까다로운 건), 금지 사례 10%(절대 해서는 안 되는 답을 유도하는 입력). 전형만 모으면 시험이 쉬워지고, 금지가 빠지면 사고 유형이 검증에서 빠진다. 이 비율표 하나가 평가셋의 품질을 결정한다.
이 시험지는 세 번 쓰인다. 제안 평가에서 후보 모델을 가르고, 검수에서 합격선이 되고, 운영에서 회귀 평가의 기준이 된다. 학습·RAG용 데이터의 조건을 다룬 연재 12기 5화의 논리가 평가 데이터에도 그대로 적용된다. 한 번 만들어 세 번 쓰는 자산이므로, 산출물 목록에 올리고 형상관리 번호를 받게 하라.
배점으로 번역하기
평가셋이 있어도 제안 평가에 들어가지 못하면 소용이 없다. 번역 방법은 평가 항목의 명문화다. 제안요청서에 쓰라. "발주기관이 제공하는 평가 데이터셋에 대한 시연 평가를 실시하며, 정확도·근거 제시·금지 요소 위반 여부를 기준으로 기술 평가 점수에 반영한다." 시연은 같은 입력 세트로, 같은 날, 같은 조건에서 진행한다. 실무 디테일이 공정성을 만든다. 입력 순서를 제안사별로 섞고, 프롬프트 외 전처리 개입을 금지하고, 전 과정을 기록으로 남긴다. 결과 집계는 평가위원 입회 하에 그 자리에서 한다. 시연 평가가 이의 제기에서 살아남는 것은 점수가 아니라 절차의 힘이다. 에이전트형 기능이라면 말이 아니라 행동을 검사해야 한다는 관점을 브리핑 35화에서 다뤘다. 평가 기준이 곧 검수기준의 씨앗이라는 점은 다음 회차로 이어지는 복선이다.
예상 반론 두 가지
반론 하나. "평가셋을 만들 여력이 없다." 대응은 이렇다. 50건이면 시작할 수 있고, 재료는 이미 있다. 작년의 민원 대장, 반려된 문서, 콜센터 녹취록. 평가셋을 만들 여력이 없는 조직은, 엄밀히 말해 AI의 품질을 운영할 여력도 없는 것이다. 만들 수 없다면 그 사실이 도입 시기의 신호다. 반론 둘. "평가셋을 공개하면 제안사가 거기에 맞춰 조율하지 않는가." 대응은 분할이다. 유형과 채점 기준은 공개하되, 실제 문항의 일부는 시연 당일 비공개분으로 집행한다. 수능이 출제 범위를 공개하고 문제를 숨기는 것과 같은 구조다.
모델 선정 평가표의 뼈대 — ① 발주자 평가셋 50~200건(가명처리·좋은 답의 조건 명기) ② 동일 조건 시연 평가(같은 입력·같은 날) ③ 치명 오류 0건 요건과 등급별 감점 ④ 비용·단종 정책·데이터 처리 위치를 기술 외 항목으로 병행 평가
남의 시험에서 1등 한 모델을 사는 것이 아니다. 우리 시험을 통과할 모델을 사는 것이다. 그리고 시험지는 사업이 끝난 뒤에도 남아, 다음 교체와 다음 사업의 기준이 된다. 시험지를 만드는 쪽이 선정의 주도권을 쥔다.
본 글은 일반적인 정보 제공을 목적으로 하며, 개별 사안에 대한 법률 자문이 아닙니다. 구체적인 계약·분쟁 사안은 법률 전문가와 상의하시기 바랍니다.
귀사의 모델 선정, 시험지는 누가 냈습니까
HFC컨설팅은 발주자 평가셋 설계와 제안 평가 기준 수립을 지원합니다. 업무 데이터로 만든 시험지로, 선정부터 검수까지 한 줄로 이어지는 기준을 만들어 드립니다.
1영업일 이내 답변 · 주식회사 에이치에프씨 컨설팅 · 대표이사 장기석
📎 더 읽을거리
· HELM - Holistic Evaluation of Language Models — 방법·데이터를 공개하는 다각도 공개 평가 체계
· Benchmark Data Contamination of LLMs: A Survey (arXiv, 2024) — 벤치마크 오염의 유형과 대응을 정리한 서베이
'IT 인사이트 > AI 시대의 AI 도입 발주 가이드' 카테고리의 다른 글
| 모델은 단종된다 - 버전 업과 교체 조항 (06/08) (0) | 2026.10.17 |
|---|---|
| 같은 답을 요구할 수 있는가 - AI 성능 SLA와 검수기준 (05/08) (0) | 2026.10.17 |
| 토큰으로 쓰는 예산 - 종량 과금을 계약에 가두는 법 (04/08) (0) | 2026.10.17 |
| 무엇을 사는 것인가 - API, 모델, 구축의 세 갈래 (02/08) (0) | 2026.10.17 |
| 지능을 산다는 것 - 왜 AI 도입은 PoC에서 멈추는가 (01/08) (0) | 2026.10.17 |