Where Projects Become Outcomes

"프로젝트를 성과로 전환하다"

IT 인사이트/AI 시대의 AI 도입 발주 가이드 8

지능의 소유 - 사업이 끝나도 남아야 하는 것들 (08/08)

AI 시대의 AI 도입 발주 가이드 · Ep.08시스템은 남았다.지능도 남게 하라.지능의 소유 - 사업이 끝나도 남아야 하는 것들 · HFC Consulting운영 이관 회의에서 운영사가 물었다. 프롬프트 원본은 어디 있습니까. 산출물 목록에는 없었다. 평가 데이터는 메신저에, 파라미터는 떠날 개발자의 기억에 있었다. 사업비로 산 지능의 재료가, 서류상으로는 산 적이 없는 물건이 되어 있었다. 이 장면은 노트 36화가 기록했다. 완결편은 그 장면이 다시 생기지 않게 하는 설계를 다룬다.품질은 코드 밖에 산다소스 코드가 산출물이라는 합의는 수십 년에 걸쳐 만들어졌다. AI 기능에서 그 합의는 절반만 유효하다. 같은 코드 위에서도 프롬프트가 다르면 품질이 다르고, 평가 데이터가 없으면 품질을 증명할 수 없고..

환각의 책임 - AI의 말은 누구의 말인가 (07/08)

AI 시대의 AI 도입 발주 가이드 · Ep.07챗봇이 말했다.책임은 회사가 졌다.환각의 책임 - AI의 말은 누구의 말인가 · HFC Consulting할머니를 잃은 승객이 항공사 챗봇에게 유족 할인 운임을 물었다. 챗봇은 탑승 후에도 소급 신청이 된다고 답했다. 사실이 아니었다. 같은 웹사이트의 다른 페이지에는 정반대의 규정이 적혀 있었다. 항공사는 환불을 거절했고, 승객은 분쟁 조정 기구로 갔다. 2024년, 캐나다에서 실제로 있었던 일이다."챗봇은 별도 주체"라는 항변주목할 것은 판정보다 항변이다. 에어캐나다는 챗봇이 별도의 주체이며 그 발언까지 회사가 책임질 수 없다는 취지로 다퉜다. 브리티시컬럼비아 민사분쟁조정심판소(CRT)는 이를 기각했다. 챗봇도 회사 웹사이트의 일부이며, 웹사이트의 모든 ..

모델은 단종된다 - 버전 업과 교체 조항 (06/08)

AI 시대의 AI 도입 발주 가이드 · Ep.06계약 기간은 3년이었다.모델의 수명은 아니었다.모델은 단종된다 - 버전 업과 교체 조항 · HFC Consulting메일은 평범하게 도착한다. 제목에 공지라는 단어가 있고, 본문에 날짜가 하나 있다. 지금 운영 중인 시스템의 심장이 그 날짜에 멈춘다는 뜻이다. 담당자가 계약서를 넘긴다. 하자담보책임 조항은 결함을 전제하고, 해지 조항은 귀책을 전제한다. 이것은 결함도 귀책도 아니다. 공급자가 예고하고 집행하는, 완전히 합법적인 소멸이다. 단종이라는 단어를 아는 계약서는 아직 드물다.공식 문서가 말하는 수명추측도 음모도 아니다. 모델을 오래 유지하는 비용이 크고 세대 교체가 빠른 산업의 구조적 귀결이고, 벤더들은 단종을 공식 문서로 운영한다. OpenAI의 ..

같은 답을 요구할 수 있는가 - AI 성능 SLA와 검수기준 (05/08)

AI 시대의 AI 도입 발주 가이드 · Ep.05가동률은 약속할 수 있다.답은 약속한 적이 없다.같은 답을 요구할 수 있는가 - AI 성능 SLA와 검수기준 · HFC Consulting검수 회의에서 같은 질문을 두 번 입력했고, 두 개의 다른 답이 돌아왔다. 그 방의 침묵은 이 블로그의 노트 35화가 이미 기록했다. 이 회차는 그 침묵을 깨는 언어를 다룬다. 비결정적인 시스템에게 무엇을, 어떤 숫자로 약속하게 할 것인가. 답을 미리 말하면, 정답이 아니라 범위를, 한 번이 아니라 표본을, 선언이 아니라 절차를 계약하는 것이다.SLA의 두 층을 분리하라AI 서비스의 약속은 두 층으로 나뉜다. 아래층은 가용성. 서비스가 떠 있는가, 응답이 몇 초 안에 오는가. 이 층은 기존 클라우드 SLA의 언어가 그대로..

토큰으로 쓰는 예산 - 종량 과금을 계약에 가두는 법 (04/08)

AI 시대의 AI 도입 발주 가이드 · Ep.04견적서는 고정이었다.청구서는 아니었다.토큰으로 쓰는 예산 - 종량 과금을 계약에 가두는 법 · HFC ConsultingIT 예산의 언어는 두 가지였다. 구축비와 운영비. 둘 다 연 단위의 고정 숫자였고, 품의서는 그 숫자 위에서 쓰였다. AI가 세 번째 언어를 들고 왔다. 쓰는 만큼 낸다. 예산 담당자에게 이 말은 자유가 아니라 공포다. 쓰는 만큼이 얼마인지, 아무도 미리 모르기 때문이다.가격표를 읽는 법종량 과금의 단위는 토큰이다. 벤더들의 공식 가격표는 100만 토큰당 단가로 쓰여 있고, 입력과 출력의 단가가 다르며, 출력이 대체로 몇 배 비싸다. OpenAI의 가격표와 앤트로픽의 가격 문서를 열어 보면 구조가 보인다. 모델 등급별 단가, 캐시된 입력..

벤치마크는 제안서가 아니다 - 모델 선정의 평가표화 (03/08)

AI 시대의 AI 도입 발주 가이드 · Ep.03순위표의 1위를 골랐다.우리 업무에서는 아니었다.벤치마크는 제안서가 아니다 - 모델 선정의 평가표화 · HFC Consulting제안서 평가장이었다. 세 제안사가 각자 다른 모델을 들고 왔고, 세 제안서 모두 벤치마크 순위표를 첨부했다. 공교롭게도 세 모델 모두 1위였다. 순위표가 서로 달랐을 뿐이다. 평가위원들은 세 장의 1위 증명서 앞에서 무엇을 평가해야 하는지 알 수 없었다.순위표의 세 가지 함정공개 벤치마크는 연구의 도구이지 조달의 근거가 아니다. 이유는 셋이다. 첫째, 오염. 벤치마크 문제가 모델의 학습 데이터에 섞여 들어가면 점수는 실력이 아니라 암기를 측정한다. 이 현상은 학계가 공식적으로 다루는 연구 주제로, 2024년의 서베이 논문이 유형과..

무엇을 사는 것인가 - API, 모델, 구축의 세 갈래 (02/08)

AI 시대의 AI 도입 발주 가이드 · Ep.02계약서는 한 장이었다.산 것은 셋 중 하나였다.무엇을 사는 것인가 - API, 모델, 구축의 세 갈래 · HFC Consulting계약 심의 테이블에서 법무 담당자가 물었다. "이건 용역입니까, 물품입니까, 구독입니까." 사업 담당자가 잠시 멈췄다. AI를 도입한다고만 생각했지, 무엇을 사는 것인지는 생각해 본 적이 없었다. 품의서에는 'AI 기반 업무 지원 체계 구축'이라고 적혀 있었다. 그 열두 글자 안에 세 개의 전혀 다른 계약이 섞여 있을 수 있다는 것을, 그 방의 누구도 몰랐다. 그 침묵이 이 회차의 주제다.세 갈래의 길AI 도입의 조달 유형은 크게 셋이다. 첫째, 상용 API 구독. 벤더의 모델을 호출 단위로 쓴다. 가장 빠르고, 가장 가볍고, ..

지능을 산다는 것 - 왜 AI 도입은 PoC에서 멈추는가 (01/08)

AI 시대의 AI 도입 발주 가이드 · Ep.01시연은 박수를 받았다.계약은 쓰이지 않았다.지능을 산다는 것 - 왜 AI 도입은 PoC에서 멈추는가 · HFC Consulting지난봄의 시연회였다. 생성형 AI가 민원 회신문 초안을 30초 만에 만들어 냈고, 회의실에서 박수가 나왔다. 임원 보고가 올라갔고, 기사도 한 줄 났다. 그리고 가을이 왔다. 본사업 발주는 아직 기안 단계에 있다. 멈춘 것은 기술이 아니었다. 다음 문장을 쓸 사람이 없었다. 이것을 어떻게 사는가, 라는 문장이다.박수와 계약 사이멈춰 선 것은 그 기관만이 아니다. 가트너는 2024년 7월, 생성형 AI 프로젝트의 최소 30%가 2025년 말까지 개념검증(PoC) 단계에서 중단될 것으로 전망했다. 사유는 네 가지였다. 데이터 품질, ..