AI 시대의 AI 도입 발주 가이드 · Ep.07
챗봇이 말했다.
책임은 회사가 졌다.
환각의 책임 - AI의 말은 누구의 말인가 · HFC Consulting
할머니를 잃은 승객이 항공사 챗봇에게 유족 할인 운임을 물었다. 챗봇은 탑승 후에도 소급 신청이 된다고 답했다. 사실이 아니었다. 같은 웹사이트의 다른 페이지에는 정반대의 규정이 적혀 있었다. 항공사는 환불을 거절했고, 승객은 분쟁 조정 기구로 갔다. 2024년, 캐나다에서 실제로 있었던 일이다.
"챗봇은 별도 주체"라는 항변
주목할 것은 판정보다 항변이다. 에어캐나다는 챗봇이 별도의 주체이며 그 발언까지 회사가 책임질 수 없다는 취지로 다퉜다. 브리티시컬럼비아 민사분쟁조정심판소(CRT)는 이를 기각했다. 챗봇도 회사 웹사이트의 일부이며, 웹사이트의 모든 정보에 대한 책임은 회사에 있다는 것이다. 맥카시 테트로 로펌의 판례 해설은 이 항변을 이례적 주장이라 평했다. 금액은 수백 달러로 작았다. 선례는 작지 않다. AI의 말은 그것을 내건 조직의 말이라는, 앞으로 수없이 인용될 선례다.
공공이라고 다르지 않다. 뉴욕시의 사업자 안내 챗봇이 시 조례에 어긋나는 답변을 내놓았다는 더마크업의 2024년 보도가 있다. 임대인이 주거 바우처를 거절해도 된다는 식의, 법과 반대인 안내였다. 행정기관의 챗봇이 위법을 안내할 때 그 피해의 책임 구조는 아직 판례조차 충분하지 않다. 사람 없이 내려진 결정이 어떤 규모의 사고가 되는지는 브리핑 19화에서 다뤘다.
면책 문구는 방패가 아니다
"AI의 답변은 부정확할 수 있습니다" 한 줄이면 되지 않느냐는 반론이 있다. 대응은 이렇다. 고지는 책임의 소멸이 아니라 감경의 사정일 뿐이다. 서비스가 안내 기능을 내걸고 이용자가 그 안내에 따라 행동하도록 설계되어 있다면, 작은 글씨의 면책이 큰 글씨의 안내를 지우지 못한다. 에어캐나다 사건에서도 면책 취지의 주장은 결과를 바꾸지 못했다. 면책 문구는 필요하다. 다만 그것은 책임 설계의 마지막 줄이지 첫 줄이 아니다.
"우리는 대민 서비스가 아니라 내부 업무 보조용이니 다르다"는 변론도 자주 듣는다. 절반만 안전하다. 직원이 본 AI의 답은 결재 문서가 되고, 보도자료가 되고, 민원 회신이 되어 밖으로 나간다. 내부용이라는 말은 책임의 면제가 아니라 통제 지점의 이동일 뿐이다. 사용 범위와 검토 의무를 내부 지침으로 문서화하는 일이, 대민 챗봇의 가드레일만큼 무겁게 남는다.
국내의 좌표
국내에도 좌표가 쌓이고 있다. 학습 데이터 처리의 책임이 어디까지 미치는지는 2021년 개인정보보호위원회의 챗봇 서비스 제재가 일찍 보여 줬고, 올해 시행된 AI기본법으로 AI 서비스의 투명성과 책임은 권고가 아니라 제도의 영역에 들어왔다. 고위험으로 분류되는 용도일수록 사람의 관여와 기록의 의무가 무거워지는 방향은 EU AI법과 궤를 같이한다. 기록 의무의 실무 번역은 로그다. 어떤 질문에 어떤 답이 나갔고 사람이 어디서 개입했는지의 기록이 없으면, 사고 후 재구성은 추측이 되고 책임 공방은 길어진다. 발주자에게 이것은 추상적 규제 뉴스가 아니다. 안내 챗봇 하나를 발주할 때에도, 이 서비스가 어느 위험 등급의 업무를 건드리는지와 그에 따르는 고지·기록·사람 개입 요건을 과업 문서에 번역해 넣어야 한다는 뜻이다.
삼자 사이의 책임 지도
발주자의 과제는 이용자에게 지는 대외 책임과 별개로, 대내의 책임 지도를 계약으로 그리는 것이다. 등장인물은 셋이다. 모델을 공급하는 벤더, 시스템을 만든 수급인, 서비스를 내건 발주자. 사고가 나면 세 당사자의 첫 반응은 정해져 있다. 벤더는 약관을 가리키고, 수급인은 모델 특성을 가리키고, 발주자는 계약서를 펼친다. 그리고 계약서가 비어 있으면 가리킬 곳이 없다. 벤더 약관은 대체로 결과물 책임을 지지 않는다. 그렇다면 남는 질문은 둘이다. 수급인은 무엇까지 책임지는가. 발주자는 무엇을 떠안는가.
| 사고 유형 | 1차 책임 설계 | 계약 장치 |
|---|---|---|
| 가드레일 미구현 오답 (설계로 막을 수 있던 것) | 수급인 | 금지 답변 목록·필터를 검수기준화(5화), 하자담보책임 연결 |
| 모델 고유의 잔여 환각 | 발주자(운영 통제로 흡수) | 고위험 업무의 사람 최종 확인 절차, 출처 표시 의무 |
| 제3자 손해의 배상 | 사전 분담 합의 | 배상 상한·상호 구상 조항, 보험 가입 요구 검토 |
핵심 구분선은 하나다. 설계로 막을 수 있었던 오답과 기술 특성상 남는 오답. 환불 규정처럼 정답이 사내 문서에 있는 질문의 오답은 전자이고, 열린 질문의 잔여 환각은 후자다. 앞의 것은 결함이고 뒤의 것은 리스크다. 결함은 수급인의 하자담보책임으로, 리스크는 발주자의 운영 통제(고위험 업무의 사람 개입, 안내 범위의 한정)로 흡수한다. 분쟁이 국면이 되기 전에 끝내는 설계는 연재 10기 1화의 원칙 그대로다.
책임 조항 체크포인트 — 결함(막을 수 있던 오답)과 리스크(잔여 환각)의 구분선 명문화 / 고위험 업무의 사람 최종 판단 절차 / 금지 답변 목록의 검수기준화 / 배상 상한과 구상 조항 / 면책 고지는 마지막 줄
AI의 말은 결국 그것을 내건 자의 말이 된다. 계약서가 할 일은 그 말의 값을 누가, 어디까지 치르는지 미리 적어 두는 것이다.
본 글은 일반적인 정보 제공을 목적으로 하며, 개별 사안에 대한 법률 자문이 아닙니다. 해외 판례의 국내 적용은 별도 검토가 필요하며, 구체적인 사안은 법률 전문가와 상의하시기 바랍니다.
귀사의 챗봇이 잘못 말하면, 누가 책임집니까
HFC컨설팅은 AI 사업의 책임 조항 설계를 지원합니다. 결함과 리스크의 구분선, 사람 개입 절차, 배상 구조까지 — 사고 후가 아니라 발주 때 그리는 책임 지도를 만들어 드립니다.
1영업일 이내 답변 · 주식회사 에이치에프씨 컨설팅 · 대표이사 장기석
📎 더 읽을거리
· McCarthy Tétrault, Moffatt v. Air Canada 해설 (2024) — "챗봇은 별도 주체" 항변의 기각
· The Markup, NYC 챗봇의 위법 안내 (2024) — 행정 챗봇 오안내의 공식 보도
'IT 인사이트 > AI 시대의 AI 도입 발주 가이드' 카테고리의 다른 글
| 지능의 소유 - 사업이 끝나도 남아야 하는 것들 (08/08) (0) | 2026.10.17 |
|---|---|
| 모델은 단종된다 - 버전 업과 교체 조항 (06/08) (0) | 2026.10.17 |
| 같은 답을 요구할 수 있는가 - AI 성능 SLA와 검수기준 (05/08) (0) | 2026.10.17 |
| 토큰으로 쓰는 예산 - 종량 과금을 계약에 가두는 법 (04/08) (0) | 2026.10.17 |
| 벤치마크는 제안서가 아니다 - 모델 선정의 평가표화 (03/08) (0) | 2026.10.17 |