AI 시대의 AI 도입 발주 가이드 · Ep.05
가동률은 약속할 수 있다.
답은 약속한 적이 없다.
같은 답을 요구할 수 있는가 - AI 성능 SLA와 검수기준 · HFC Consulting
검수 회의에서 같은 질문을 두 번 입력했고, 두 개의 다른 답이 돌아왔다. 그 방의 침묵은 이 블로그의 노트 35화가 이미 기록했다. 이 회차는 그 침묵을 깨는 언어를 다룬다. 비결정적인 시스템에게 무엇을, 어떤 숫자로 약속하게 할 것인가. 답을 미리 말하면, 정답이 아니라 범위를, 한 번이 아니라 표본을, 선언이 아니라 절차를 계약하는 것이다.
SLA의 두 층을 분리하라
AI 서비스의 약속은 두 층으로 나뉜다. 아래층은 가용성. 서비스가 떠 있는가, 응답이 몇 초 안에 오는가. 이 층은 기존 클라우드 SLA의 언어가 그대로 작동한다. 다만 측정 주체와 측정 지점은 명시한다. 벤더 상태 페이지의 숫자와 우리 시스템에서 체감한 숫자는 다를 수 있고, 분쟁은 그 틈에서 자란다. 응답 시간은 평균이 아니라 P95(느린 쪽 5%의 경계)로 적어야 바쁜 날의 체감을 계약이 안다. 벤더들의 공식 SLA 문서가 가동률 수치와 크레딧 보상을 명시하는 방식은 마이크로소프트의 온라인 서비스 SLA 문서에서 확인할 수 있다. 다만 크레딧 보상이 업무 중단의 손해를 대신하지 못한다는 것, 코파일럿이 이틀 침묵해도 돌려받는 것은 요금의 일부라는 것은 브리핑 23화에서 다룬 그대로다.
위층은 품질. 답이 맞는가, 근거가 있는가, 하지 말아야 할 말을 했는가. 이 층에는 기존 언어가 없다. "동일 입력 동일 출력"은 요구할 수 없는 약속이고, "정상 동작"은 판정할 수 없는 문장이다. 두 층을 한 조항에 섞으면 가동률 99.9%를 지킨 수급인이 품질 공방에서 그 숫자를 방패로 쓰게 된다. 층을 분리해 각자의 숫자를 주는 것이 설계의 첫수다. 품질 층의 언어는 발주자가 새로 만들어야 한다.
허용 범위의 문법
품질 층의 문법은 네 단어로 요약된다. 고정, 표본, 등급, 반복. 평가 데이터셋을 고정하고(3화에서 만든 그 시험지다), 표본 합격률로 합격선을 정하고(예: 95% 이상), 오류를 등급화하고(법령 오인용 같은 치명 결함은 0건, 표현 어색함 같은 경결함은 비율 관리), 같은 평가를 반복한다(검수에서 한 번, 운영에서 모델이 바뀔 때마다). 지적사항과 검수기준이 어긋날 때의 분쟁 구조는 연재 11기 6화에서 다룬 그대로이고, 이 문법은 그 어긋남을 발주 단계에서 봉합한다.
지표의 이름에도 함정이 있다. "환각률 1% 이하"라고 적으면 숫자처럼 보이지만, 환각의 정의가 없으면 그 조항은 판정 불능이다. 틀린 사실의 단정인가, 근거 없는 추정인가, 출처 없는 인용인가. 계약서에 들어갈 지표는 측정 절차까지 포함해 정의한다. "고정 평가셋 중 사실관계 항목에서, 제시 근거와 모순되는 단정 응답의 비율"처럼, 셀 수 있는 문장으로 바꾸는 것이다. 정의 없는 지표는 검수일에 서로 다른 사전을 꺼내게 만든다.
| 항목 | 적는 방식 (예시) | 판정 방법 |
|---|---|---|
| 정확성 | 고정 평가셋 표본 합격률 95% 이상 | 검수 시 전량 평가, 운영 시 월 표본 |
| 치명 오류 | 법령·금액·개인정보 오류 0건 | 임계 사례 전건 점검 |
| 근거 제시 | 출처 표기율 기준(예: 98%) | 표본 검사 + 링크 유효성 |
| 응답·가용성 | P95 응답 시간·월 가동률 | 측정 로그 월간 보고 |
누가 채점하는가
숫자를 정해도 채점자가 없으면 분쟁은 그대로다. 채점 체계는 세 겹으로 설계한다. 기계 판정이 가능한 항목(금지어 포함 여부, 출처 링크 유효성, 응답 시간)은 자동 채점으로. 판단이 필요한 항목(정확성·적절성)은 채점 기준표를 가진 사람 평가로, 평가자 2인 교차와 불일치 시 제3자 판정 규칙까지 적는다. 대량 표본의 1차 선별에 LLM 채점을 쓸 수는 있으나 보조 수단으로 한정한다. 검사받는 기술로 검사를 끝내는 구조는 판정의 권위를 만들지 못하기 때문이다. 그리고 판정 불복 절차를 미리 둔다. 수급인이 채점 결과에 이의를 제기하는 경로가 없으면, 이의는 절차 밖에서 분쟁으로 자란다.
검수일은 끝이 아니라 기준선이다
기존 시스템의 검수는 종착지였다. AI의 검수는 기준선이다. 모델이 업데이트되고, 프롬프트가 수정되고, 데이터가 쌓일 때마다 품질은 움직인다. 그래서 검수에 쓴 평가셋과 합격선은 운영 단계의 회귀 평가 체계로 그대로 이관되어야 한다. 변경이 있을 때마다 같은 시험을 다시 치르게 하는 것. 그 의무를 유지보수 계약(SM)의 과업으로 명문화하는 것까지가 이 회차의 범위다. 평가 결과는 버리지 말고 쌓는다. 분기별 합격률의 추이가 곧 품질 계기판이 되고, 하락 추세는 장애가 나기 전의 경보가 된다. 검수기준이 일회용 서류가 아니라 운영 지표의 원형이 되는 것, 그것이 비결정 시스템과 오래 사는 방법이다. 그리고 벤더가 모델 자체를 끝내 버리는 날의 이야기는, 다음 회차의 몫이다.
AI SLA 체크포인트 — 가용성 층과 품질 층의 분리 / 고정 평가셋·표본 합격률·오류 등급의 명문화 / 치명 결함 0건 요건 / 크레딧 보상의 한계 인지 / 회귀 평가의 SM 과업화
같은 답은 요구할 수 없다. 그러나 같은 수준의 답은 요구할 수 있다. 그 차이를 아는 계약서가, 비결정의 시대에 검수를 성립시킨다.
본 글은 일반적인 정보 제공을 목적으로 하며, 개별 사안에 대한 법률 자문이 아닙니다. 구체적인 계약·분쟁 사안은 법률 전문가와 상의하시기 바랍니다.
귀사의 AI 검수기준, 몇 항목입니까
HFC컨설팅은 AI 성능 SLA와 검수기준 설계를 지원합니다. 평가셋 구성부터 합격선·오류 등급·회귀 평가 체계까지, 검수일에 다투지 않는 숫자를 만들어 드립니다.
1영업일 이내 답변 · 주식회사 에이치에프씨 컨설팅 · 대표이사 장기석
📎 더 읽을거리
· Microsoft, SLA for Online Services — 클라우드 SLA(가용성 층)의 표준 문법과 크레딧 구조
· Gartner (2024.7) — 리스크 통제 부재가 GenAI 중단 사유의 하나로 지목된 원전
'IT 인사이트 > AI 시대의 AI 도입 발주 가이드' 카테고리의 다른 글
| 환각의 책임 - AI의 말은 누구의 말인가 (07/08) (0) | 2026.10.17 |
|---|---|
| 모델은 단종된다 - 버전 업과 교체 조항 (06/08) (0) | 2026.10.17 |
| 토큰으로 쓰는 예산 - 종량 과금을 계약에 가두는 법 (04/08) (0) | 2026.10.17 |
| 벤치마크는 제안서가 아니다 - 모델 선정의 평가표화 (03/08) (0) | 2026.10.17 |
| 무엇을 사는 것인가 - API, 모델, 구축의 세 갈래 (02/08) (0) | 2026.10.17 |