데이터 품질을 검수기준으로 바꾸는 법 (04/08)

AI 시대의 데이터 발주 가이드 · Ep.04

품질을 높이라는 과업은
검수할 수 없다.

데이터 품질을 검수기준으로 바꾸는 법 · HFC Consulting

---

검수 회의에서 발주 담당자가 말했다. 품질이 기대에 못 미칩니다. 수행사 PM이 물었다. 기대가 몇 점이었습니까. 회의실이 조용해졌다. 계약서 어디에도 그 숫자는 없었다. 데이터 품질 제고라는 여섯 글자가 과업의 전부였다.

형용사는 검수되지 않는다

높은 품질, 정확한 데이터, 신뢰할 수 있는 기반. 제안요청서에 흔한 이 표현들은 검수 단계에서 전부 분쟁의 씨앗이 된다. 기대는 사람마다 다르고, 문서에 없는 기대는 계약상 존재하지 않기 때문이다. 9기 8화 ‘검수 방어: 검수는 마지막 주에 시작되지 않는다’의 명제는 데이터 사업에서 더 이르다. 데이터 검수는 착수 전, 품질 지표를 정의하는 순간 시작된다.

품질을 재는 여섯 개의 자

데이터 품질은 막연한 인상이 아니라 측정 가능한 차원들의 합이다. 행정안전부 공공데이터 품질관리 매뉴얼을 비롯한 표준 체계들이 공통으로 쓰는 자는 대체로 여섯 개로 수렴한다.

지표	묻는 것	측정 예
완전성	비어 있지 않은가	필수 항목 결측률
유일성	중복은 없는가	식별자 중복률
유효성	형식에 맞는가	코드·형식 위반율
일관성	서로 어긋나지 않는가	시스템 간 값 불일치율
정확성	사실과 맞는가	원본 대사 표본 오류율
적시성	살아 있는가	기준 시점 대비 지연 일수

지표의 적용 범위는 업무의 무게를 따라간다. 전 테이블에 같은 잣대를 대는 것은 공평해 보이지만 낭비다. 정산·계약·고객 식별처럼 오류의 파급이 큰 영역에 엄격한 목표치를, 참조·이력성 데이터에 느슨한 목표치를 배정하는 차등 설계가 측정 공수와 품질 효과의 균형점이다.

여섯 자를 모두 같은 무게로 쓸 필요는 없다. AI 학습용이라면 일관성과 정확성이, 실시간 서비스용이라면 적시성이 앞선다. 중요한 것은 사업의 목적에 맞는 지표를 고르고, 지표마다 목표치를 숫자로 적는 일이다. 필수 항목 결측률 1% 이하, 식별자 중복률 0.1% 이하. 이렇게 적힌 문장만이 검수의 언어가 된다.

측정 절차까지가 기준이다

목표치만 적고 측정 방법을 비워 두면 분쟁은 반만 예방된다. 전수로 잴 것인가 표본으로 잴 것인가. 표본이라면 추출 방식과 크기는 무엇인가. 어느 시점의 데이터를 재는가. 측정 도구는 누가 제공하고 결과는 누가 재현하는가. 이 네 가지가 검수기준서에 함께 있어야, 같은 데이터를 놓고 두 개의 점수가 나오는 사태를 막을 수 있다. 11기 6화 ‘지적사항과 검수기준의 정합’에서 다룬 원칙 그대로, 재는 자가 둘이면 판정은 없는 것과 같다.

검수기준서에 들어갈 세 문장

① 지표와 목표치 — 사업 목적에 맞게 선정한 지표별로 수치 목표를 명시한다.

② 측정의 방법 — 측정 시점, 표본 설계, 도구와 재현 절차를 특정한다.

③ 미달 시 조치 — 재작업 범위, 기한, 판정 회의체를 정한다.

목표치의 함정

마지막 주의점은 목표치의 출처다. 결측률 0%와 같은 이상적 숫자를 근거 없이 적으면, 그 기준은 아무도 달성할 수 없어 결국 무시되거나, 달성하는 시늉을 낳는다. 목표치는 2편의 진단 실측치에서 출발해야 한다. 현재 12%인 중복률을 한 사업에서 0.1%로 만드는 계획은 계획이 아니라 소원이다. 가트너가 AI 준비 데이터의 부재를 프로젝트 폐기의 주요 경로로 지목할 때, 그 부재에는 기준 자체가 비현실적이어서 작동하지 않는 경우가 포함된다. 좋은 검수기준은 엄격한 기준이 아니라 도달 가능하고 측정 가능한 기준이다.

예상되는 반론

반론. 지표를 정의하고 측정하는 일 자체가 큰 공수다. 검수를 위한 사업이 따로 생기는 것 아닌가.

대응. 측정의 공수는 설계로 줄인다. 전 항목이 아니라 핵심 업무 영역의 필수 항목으로 좁히고, 전수가 부담이면 표본 설계로 대체하고, 측정 쿼리는 산출물로 받아 재사용한다. 무엇보다 이 공수는 사라지는 비용이 아니다. 7편에서 다룰 상시 품질 관리 체계가 같은 지표와 같은 도구를 물려받는다. 검수를 위해 만든 자가 운영의 계기판이 된다. 반대로 측정 없는 검수기준은 공수를 아끼는 것이 아니라 판정 불능이라는 더 비싼 상태를 사는 것이다.

반론. AI 학습용이면 어차피 모델 성능으로 검수하면 되지 않는가.

대응. 모델 성능은 데이터 품질의 대리 지표로 쓰기에 너무 늦게, 너무 뭉뚱그려 나온다. 성능 미달이 확인되는 시점은 학습이 끝난 뒤고, 그 원인이 데이터인지 모델인지 과업 설계인지는 성능 숫자만으로 갈라지지 않는다. 책임을 가르려면 원료의 검수와 완제품의 검수가 따로 있어야 한다. 학습 데이터의 품질 기준과 모델의 성능 기준은 서로를 대신하지 못하는 두 개의 관문이다.

수질은 마신 사람의 감상이 아니라 검사 항목의 수치로 판정된다. 데이터도 같다. 감상은 회의를 낳고 수치는 판정을 낳는다. 검수기준서의 품질이 검수의 품질이다. 다음 편에서는 그 물을 AI에 먹여도 되는지, 즉 학습과 검색증강에 쓸 데이터의 법적 조건을 다룬다.

📎 더 읽을거리
· 행정안전부, 공공데이터 품질관리 매뉴얼 ver 2.1 - 품질 지표 정의와 진단·개선 절차의 공식 참조 체계
· Gartner, Lack of AI-Ready Data Puts AI Projects at Risk - AI-ready 데이터의 기준이 전통적 데이터 관리와 다른 이유

본 글은 일반적인 정보 제공을 목적으로 하며 법률 자문이 아닙니다. 검수·하자 판정 관련 구체적 사안은 법률 전문가의 검토를 받으시기 바랍니다.

데이터 품질 목표, 계약서에 숫자로 적혀 있습니까

HFC컨설팅은 사업 목적에 맞는 품질 지표 선정과 측정 절차 설계, 검수기준서 작성을 지원합니다.

changks@hfcconsulting.co.kr

1영업일 이내 답변 · 주식회사 에이치에프씨 컨설팅 · 대표이사 장기석

---

📚 AI 시대의 데이터 발주 가이드
◀ 이전 편: 데이터 정비 사업의 과업범위 - 범위는 왜 항상 넘치는가
다음 편 ▶ AI에 먹일 수 있는 데이터의 조건 - 학습·RAG 데이터 발주
연재 전체 보기 →