기술·경제 분석
한 단어를 처리하는 값은 3년 만에 98% 싸졌다. 그런데도 기업이 인공지능(Artificial Intelligence, AI)에 쓰는 돈은 같은 기간 세 배 넘게 늘었다. 모순처럼 보이는 이 현상의 정체와, 그것이 일과 조직에 던지는 질문을 정리한다.
최근 실리콘밸리의 화제는 모델이 얼마나 똑똑해졌는가가 아니라, 그 똑똑함에 매달 청구되는 금액이다. AI를 업무에 적극적으로 쓰는 전문가 가운데 개인 사용료만 매달 수백 달러를 넘기는 경우가 드물지 않다. 정액제 구독에 더해, 쓴 만큼 과금되는 종량제 항목이 늘면서 비용이 예측을 벗어나기 시작했기 때문이다.
개인 단위에서도 부담이 되는 금액이 조직으로 확대되면 셈법이 달라진다. 한 사람이 월 2만~3만 원 내던 것이 갑자기 100만 원이 된다면, 직원이 수백 명, 수천 명인 회사에서는 감당하기 어려운 규모로 불어난다. "일단 AI를 쓰라"던 현장 분위기가 "이 돈만큼 정말 성과가 나오고 있는가"라는 의심으로 바뀐 배경이다.
먼저 비용을 이해하려면 토큰(token)이라는 단위를 알아야 한다. 토큰은 AI 언어 모델이 글을 읽고 쓸 때 처리하는 최소 단위로, 영어 기준 대략 네 글자, 또는 한 단어의 4분의 3 정도에 해당한다. 한두 문장짜리 짧은 질문은 약 30개의 토큰을 쓴다. AI 서비스의 요금은 대부분 이 토큰을 몇 개 처리했는가로 매겨진다.
비유로 이해하기
토큰은 AI를 굴리는 연료이자, 사용량을 재는 계량기 눈금이다. 수도 요금이 '쓴 물의 양'에 비례하듯, AI 요금은 '처리한 토큰의 수'에 비례한다. 중요한 점은 두 가지가 따로 움직인다는 것이다. 물 1리터의 단가가 내려가더라도, 수도꼭지를 더 자주, 더 오래 틀면 한 달 수도세는 오히려 오른다. 지금 AI 비용에서 벌어지는 일이 정확히 이것이다.
시장 조사기관 가트너(Gartner)는 2026년 전 세계 AI 지출을 약 2조 5,900억 달러로 추정했다. 한 해 전보다 47% 늘어난 규모이고, 우리 돈으로 3,500조 원을 넘는다. 그 가운데 모델을 실제로 돌리는 비용, 즉 추론(inference) 사용료 항목의 증가세가 가장 가파르다.
단가만 보면 AI는 빠르게 싸지는 기술이다. 여러 추적 데이터에 따르면, 같은 수준의 성능을 내는 데 드는 토큰 가격은 지난 3년 동안 약 98% 떨어졌다. 일부 분석은 동일 성능 기준 추론 비용이 매년 10배씩 낮아졌다고 본다. 모델이 작아지고, 반도체가 효율적으로 바뀌고, 공급자 간 경쟁이 격화된 결과다.
그런데 같은 기간 기업이 AI에 쓰는 총비용은 약 320% 늘었다. 단가가 내려가는데 청구서는 불어나는 이 어긋남이 지금 AI 비용 논쟁의 핵심이다.
왼쪽: 같은 성능을 내는 토큰 한 개의 값은 거의 0에 수렴할 만큼 내려갔다. 오른쪽: 그럼에도 기업이 AI에 쓰는 돈 전체는 네 배 넘게 늘었다. 단가와 청구서가 반대로 움직인다.
이유는 사용량의 폭발이다. 그 중심에는 챗봇에서 에이전트(agent)로 넘어가는 변화가 있다. 챗봇은 질문 하나에 답 하나를 내놓고 끝났다. 반면 에이전트는 목표를 받으면 스스로 검색하고, 코드를 짜고, 문서를 만들고, 결과를 검증하는 여러 단계를 자율적으로 반복한다. 이 과정에서 토큰 소모가 한 작업당 수십 배로 뛴다. 가트너의 2026년 분석은 에이전트 방식이 표준 챗봇보다 과제당 5배에서 30배 많은 토큰을 쓴다고 본다.
여기에 두 가지가 더해진다. 하나는 검색 증강 생성(Retrieval-Augmented Generation, RAG)이다. 모델이 회사 내부 문서를 근거로 답하도록 매 질문마다 방대한 문서를 함께 밀어 넣는 방식인데, 같은 질문이라도 토큰 수가 3~5배로 불어난다. 다른 하나는 상시 가동 에이전트다. 이메일과 로그, 시장 데이터를 끊임없이 감시하는 에이전트는 사람이 아무 요청을 하지 않아도 계속 토큰을 태운다. 단가가 싸진 만큼, 혹은 그 이상으로, 쓰는 양이 늘어난 셈이다.
그래서 정작 그 돈만큼 성과가 났는가. 현장 임원들, 특히 최고경영진(C-Level)일수록 체감하지 못하는 회의론이 적지 않다. 지금까지 AI 지출은 대형 기술기업과 클라우드 사업자가 주도했고, 일반 기업은 잠재력을 충분히 끌어내지 못했다는 진단이 나온다. 가트너 역시 2026년을 기업이 본격적으로 지갑을 여는 변곡점으로 보면서도, 최고정보책임자(Chief Information Officer, CIO)들이 AI 투자로 실제 어떤 사업 성과를 냈는지 증명하는 데 애를 먹고 있다고 짚었다.
문제의 구조는 이렇다. AI 도입의 효율은 대부분 개인 단위에서 나타난다. 한 사람이 보고서 초안에 쓰던 30분을 아끼는 식이다. 그러나 그 절약이 회사 전체의 매출 증가로 어떻게 이어지는지는 측정하기가 매우 어렵다. 실무자는 분명히 효율을 느끼는데, 경영진의 손익계산서에는 그 효과가 잘 잡히지 않는다.
비용 쪽 신호는 더 분명하다. 클라우드·AI 비용을 관리하는 재무운영(FinOps) 분야의 2026년 조사에서, 기업의 73%가 AI 비용이 처음 잡았던 예산을 초과했다고 답했다. 단가가 내려가는 시장에서 예산이 깨진다는 것은, 사용량 예측이 그만큼 빗나갔다는 뜻이다.
그렇다고 "AI를 쓰지 말라"는 후퇴로 이어지지는 않는다. 아직은 실험 단계라는 인식이 강하다. 다만 일부 대형 기업이 AI를 강하게 밀어붙였다가 원하는 결과가 나오기 전에 비용부터 과하게 쓰는 현상을 겪으면서, 흐름이 무한 확장에서 효율화로 방향을 틀고 있다.
비관론과 별개로, 에이전트의 효과를 정면으로 측정한 연구도 나왔다. 검색 AI 기업 퍼플렉시티(Perplexity)와 하버드 경영대학원(Harvard Business School) 연구진이 2026년 6월 8일 공개한 분석이다. 같은 사용자가 거의 동일한 요청을, 단순한 대화형 검색 제품과 자율 에이전트 제품에 각각 시키게 한 뒤, 1만 쌍의 사례를 짝지어 비교했다.
결과의 골격은 이렇다. 에이전트는 한 번 요청을 받으면 단계별로 약 26분 동안 혼자 일했다. 반면 대화형 검색은 한 번에 33초만 처리하고 끝났다. 검색형은 같은 작업을 끝내려면 사람이 짧은 요청을 수없이 반복해야 했고, 그렇게 누적된 시간이 에이전트 한두 번의 작업으로 대체됐다. 연구진의 계산에 따르면 과제 완료 시간은 약 87%, 토큰 소모로 본 비용은 약 94% 줄었다. 자율적으로 더 길게 일하는데도 사용자 불만족은 오히려 약 55% 낮아졌다.
같은 과제를 두 방식으로 처리했을 때, 에이전트는 시간과 토큰 비용 모두를 큰 폭으로 줄였다. 회색 막대(검색형 100)를 기준으로 한 상대값이다.
연구는 효과를 세 갈래로 정리했다. 첫째, 에이전트 사용자는 자기 본업의 경계 밖 일을 더 많이 시도한다. 영업 담당자가 마케팅이나 디자인 작업을 겸하는 식이다. 검색형에서 본업 외 작업을 시키던 비율이 약 50%였다면, 에이전트에서는 약 60%로 늘었다. 관리직의 경우 본업 외 업무를 직접 처리하기 시작한 비율이 약 19%포인트 증가했다. 둘째, 단순 조회를 넘어 결과물을 직접 만들어내는 비율이 과거보다 약 25% 늘었다. 셋째, 가장 주목한 대목으로, 도구가 없었다면 아예 시도조차 안 했을 일(코딩, 디자인 등)을 새로 해본 사람이 약 23%에 달했다.
다만 이 연구는 한계를 분명히 안고 있다. 데이터는 퍼플렉시티 자사 제품의 사용 기록이고, 비교 대상도 같은 회사의 기본형 제품과 상위 제품이다. 외부 경쟁 제품은 분석에 들어 있지 않으며, 동료 심사(peer review)를 거치지 않은 사전 공개본이다. 품질 개선 수치도 독립적인 정확도 평가가 아니라 사용자 행동을 대리 지표로 삼은 추정에 가깝다. 효과의 방향성은 의미 있지만, 절대 수치를 그대로 일반화하기는 어렵다.
두 갈래의 연구는 서로 다른 층위를 본다. 한쪽은 조직 전체에서 성과 증명이 어렵다고 말하고, 다른 한쪽은 절감 효과가 크다고 말한다. 모순처럼 보이지만 충돌하지 않는다. 퍼플렉시티·하버드 연구가 측정한 것은 조직 전체 그림이 아니라 한 개인의 한 과제 단위다. 과제 하나에서 효율이 오른 것과, 그 효율이 회사 전체 성과로 이어지는 것은 별개의 문제다.
소프트웨어 개발이 좋은 사례다. AI 코딩 도구는 개별 작업량을 크게 늘려준다. 그러나 프로젝트 단위, 실제 출시 단위로 가면 효율 상승폭이 급격히 둔해진다. 사람이 병목이 되기 때문이다.
비유로 이해하기
한 사람이 컨베이어 벨트 앞에서 AI로 작업물을 평소의 다섯 배 속도로 찍어낸다고 하자. 그러나 다음 공정의 동료가 검토하고 받아내는 속도가 그대로라면, 빨라진 작업물은 그 앞에 쌓이기만 한다. 라인 전체의 산출량은 가장 느린 공정에 묶인다. 개인의 생산성을 아무리 높여도, 조직의 흐름 자체를 다시 설계하지 않으면 전체 효과는 개인 단위만큼 나오지 않는다.
경계 밖 일에 대한 평가도 신중해야 한다. 자기 전문 영역에서는 AI로 분명히 성과가 올랐지만, 원래 안 하던 새 영역에서 만든 결과물이 회사의 다른 전문가 수준에 이르렀는가는 다른 문제다. 시도의 폭이 넓어진 것과 그 결과물의 질이 보장되는 것을 혼동하면, 비용은 늘었는데 성과는 모호한 상태에 빠진다. 결국 질문은 도구 자체가 아니라 일의 전체 흐름, 개인 역량의 설정 범위, 사람과 도구의 조합으로 옮겨간다. 비용 문제는 어느새 조직 설계의 문제가 되어 있다.
비용이 불어난 데에는 한동안 실리콘밸리를 지배한 독특한 문화도 있다. 이른바 토큰 맥싱(token-maxxing)이다. 최강의 모델로 토큰을 최대한 많이 태우는 것을 경쟁처럼 여기는 분위기다. 엔비디아(NVIDIA)의 최고경영자 젠슨 황(Jensen Huang)은 공개석상에서, 연봉 50만 달러를 받는 엔지니어가 토큰에 최소 25만 달러어치는 써야 한다는 취지로 말하며 토큰 소비를 능력의 척도처럼 언급했다.
이 분위기가 사내 제도와 만나자 부작용이 드러났다. 메타(Meta)에서는 한 직원이 회사 인트라넷에 사내 토큰 사용량 순위표를 만들었다. 8만 5,000명이 넘는 직원의 AI 사용량을 집계해 상위 250명을 줄 세우고, '토큰 레전드' 같은 칭호를 붙였다. 회사가 앞서 'AI 활용도'를 인사 평가의 핵심 기대치로 삼겠다고 한 흐름과 맞물리면서, 순위를 올리려 의미 없이 에이전트를 몇 시간씩 돌리는 일이 벌어졌다.
비유로 이해하기
시험 성적을 '연습장을 많이 쓴 사람이 잘한 것'으로 평가한다고 하자. 연습장을 채우라고 하니, 공부 대신 아무 낙서로 종이를 채우고 1등을 받는 사람이 생긴다. 토큰 사용량을 성과로 보는 것도 같은 함정이다. 측정하기 쉬운 활동량(투입)을 성과(산출)로 착각하는 순간, 사람들은 일을 잘하는 대신 숫자를 키우는 데 최적화한다.
규모도 작지 않았다. 메타의 해당 순위표에는 30일 동안 60조 개가 넘는 토큰이 찍혔고, 1위 사용자 한 명이 약 2,810억 개를 썼다. 공개 요금 기준으로 환산하면, 보수적으로 잡아도 한 달에 1조 원이 넘는 금액이 상당 부분 무의미하게 소모됐다는 추정이 나온다. 이 순위표는 외부에 보도된 지 이틀 만에 닫혔고, 메타는 단순 토큰 사용량은 성과 지표가 아니라는 쪽으로 입장을 바꿨다.
비슷한 일이 다른 곳에서도 있었다. 차량호출 기업 우버(Uber)는 엔지니어에게 AI 코딩 도구를 폭넓게 배포했다가 한 해 예산을 4개월 만에 소진했다. 1인당 월 API 비용이 500~2,000달러에 이르자, 회사는 1인당 월 1,500달러 상한을 도입했다. 우버의 최고운영책임자(Chief Operating Officer, COO)는 AI 사용과 신규 소비자 기능 사이의 연결을 긋기가 아직 어렵다고 인정했다. 측정하기 쉬운 토큰을 좇다가, 정작 측정하고 싶은 성과와의 연결이 끊긴 것이다.
흐름은 분명히 바뀌고 있다. 토큰을 많이 태우는 것이 미덕이던 시기는 지나가고, 같은 일을 더 적은 토큰으로 끝내는 효율화가 화두가 됐다. 메타가 순위표를 닫은 뒤 오히려 토큰 절감 쪽으로 무게를 옮긴 것이 상징적이다. 비용을 줄이려는 기업들이 적정 모델을 골라 쓰는 전략, 즉 단순한 작업은 값싼 소형 모델로, 복잡한 작업만 최고 사양 모델로 라우팅하는 방식에 주목하는 것도 같은 맥락이다.
핵심 표는 다음과 같이 요약된다.
| 관점 | 지난 국면 | 현재 국면 |
|---|---|---|
| 경쟁의 척도 | 토큰을 얼마나 많이 쓰는가 | 같은 일을 얼마나 적게 쓰고 끝내는가 |
| 성과 평가 | 사용량(투입) | 실제 산출과 마진 |
| 도입 단위 | 개인·팀의 전술적 실험 | 조직 흐름의 재설계 |
| 비용 관리 | 사후 정산 | 사전 모델링·상시 모니터링 |
또 하나의 변수는 모델 가격 정책 자체다. 한 미국 연구기업의 상위 모델 가운데 일부는 출시 직후 정책 변동으로 일반 사용자가 쓸 수 없게 되기도 했다. 만약 그런 고사양 모델이 예정대로 보급됐다면, 기존보다 한층 비싼 요금제가 등장하며 토큰 비용 논쟁이 더 커졌으리라는 전망도 나온다. 단가 하락이라는 큰 흐름과 별개로, 최상위 성능을 향한 요금은 다시 오를 여지가 있다는 의미다.
지금의 논쟁은 결국 측정의 문제로 모인다. AI가 일을 빠르게 만드는 것은 거의 분명하다. 어려운 것은 그 빨라짐이 회사의 성과로 환산되는 경로를 증명하는 일이다. 개인의 효율과 조직의 성과 사이에는 사람이라는 병목과, 새 영역 결과물의 품질이라는 빈틈이 있다. 그 사이를 메우는 것은 더 많은 토큰이 아니라, 일하는 방식과 성과를 재는 기준을 다시 짜는 일이다.
토큰 단가가 계속 내려가더라도 청구서가 자동으로 줄지는 않는다. 사용량이 단가보다 빠르게 늘어나는 한, 비용은 기술의 문제가 아니라 설계와 규율의 문제로 남는다. AI를 도입한 조직이 다음 단계에서 던져야 할 질문은 "얼마나 더 쓸 것인가"가 아니라 "무엇을, 어디에, 어떻게 쓸 것인가"이다. 토큰을 화폐로 보는 시대에, 가장 비싼 낭비는 측정하기 쉬운 숫자를 성과로 착각하는 것이다.