AI에이전트 도입 후, 토큰 비용 1000배....'토큰맥싱' 기업 골칫덩이로

AI로 만든 이미지 [사진=MS코파일럿]

AI 에이전트가 기업 현장에 본격 확산되면서 예상치 못한 후폭풍이 이어지고 있다. 에이전트 특유의 토큰 과소비 구조가 AI 도입 비용을 급등시키는 가운데, 직원들이 사내 AI 활용 지표를 부풀리기 위해 의미 없는 작업을 반복 실행하는 이른바 '토큰맥싱' 현상까지 더해지면서 기업들의 고민이 깊어지고 있다.
 
29일 마이크로소프트(MS) 리서치와 스탠포드대학이 공동으로 발표한 논문에 따르면 에이전틱 코딩 태스크는 일반 챗봇 대비 최대 1000배의 토큰을 소비한다.
 
단순히 AI가 외부 시스템을 조작하는 툴콜링 에이전트도 일반 채팅 대비 5~30배 수준의 토큰을 사용하는 것으로 나타났다. 같은 태스크를 반복 실행할 경우 토큰 사용량 편차가 최대 30배에 달해 비용 예측 자체가 사실상 불가능한 구조다.
 

논문은 특히 "토큰을 더 많이 소비한다고 해서 정확도가 높아지지 않는다"는 점을 실증했다. 중간 비용 구간에서 정확도가 정점을 찍은 뒤 포화 상태에 진입하는 패턴이 확인됐다.
 
비용 충격은 실제 청구서로 이어지고 있다.
AI 비용 컨설팅 업체 린옵스의 고객 사례에 따르면 엔지니어 35명 규모의 한 SaaS 스타트업은 클로드 코드·커서 등 코딩 에이전트와 자체 버그 트리아지 에이전트를 도입한 지 4개월 만에 월 AI 비용이 최대 8만7000달러까지 불어났다. 컨텍스트 프루닝, 경량 모델 분리, 일일 사용 한도 설정 등 최적화 조치를 적용한 뒤에야 월 2만4000달러 수준으로 낮출 수 있었다.
 
토큰 비용 문제와 별개로, 조직 문화적 부작용도 수면 위로 드러나고 있다. 아마존은 개발자 80% 이상의 주간 AI 사용을 의무화하고 내부 토큰 소비량 리더보드를 운영했는데, 직원들이 점수를 올리려 사내 AI 에이전트 플랫폼으로 불필요한 작업을 반복 실행하는 토큰맥싱이 성행했다.
 
이에 아마존은 리더보드 가시성을 제한하는 조치를 취했다. 메타에서도 유사한 현상이 나타났다. 직원 약 8만5000명을 대상으로 한 사내 리더보드에서 30일 간 총 토큰 소비량이 60조 개를 넘었다.
 
토큰 비용 폭증은 중국 AI 업계에는 반사이익으로 작용할 가능성이 언급된다. 딥시크 V3.2의 API 단가는 입력 토큰 100만 개당 0.14달러로, GPT-5의 2.50달러 대비 약 94% 저렴하다.
 
출력 토큰 기준으로는 딥시크 0.28달러 대 GPT-5 15달러로 격차가 더 벌어진다. 토큰 소비 볼륨이 커질수록 단가 차이가 실제 비용에 미치는 영향이 커지는 만큼, 비용 절감이 시급한 기업들의 중국산 모델 채택 검토가 늘어날 수 있다는 분석이 나온다.
 
토큰 사용량 자체의 폭증도 가파르다. 투자사 알저가 오픈라우터 플랫폼 데이터를 분석한 결과, 지난해 12월 기준 주간 토큰 사용량은 최근 12개월 새 3800% 이상 증가했으며 2025년 1월을 기점으로 증가세가 급격히 가속됐다. 평균 프롬프트 길이는 2024년 초 약 1500 토큰에서 약 6000 토큰으로 4배 늘었다.