AI 비용 폭탄 (토큰 종량제, 중국산 모델, 멀티플랫폼)

AI 코딩 도구 하나 때문에 우버가 연간 AI 예산을 4개월 만에 소진했습니다. 이 뉴스를 처음 봤을 때 솔직히 "AI도 결국 공짜 혁신이 아니구나"라는 생각이 먼저 들었습니다. 기업들이 앞다퉈 AI를 도입하면서 이제 성능보다 비용이 더 큰 화두가 됐고, 그 틈을 파고든 것이 바로 중국산 오픈소스 AI 모델입니다.

 

토큰 종량제가 만든 비용 폭탄

기업용 AI 에이전트 대부분은 토큰(token) 사용량에 비례해 요금이 청구되는 종량제 구조를 채택하고 있습니다. 여기서 토큰이란 AI가 텍스트를 처리하는 최소 단위로, 대략 영어 단어 하나 혹은 한글 두세 글자 정도에 해당합니다. 문서 하나를 요약하거나 코드 한 줄을 수정할 때마다 토큰이 소비되고, 그게 돈으로 환산됩니다.

처음에 기업들은 생산성 경쟁에서 뒤처지지 않으려고 직원들에게 AI 도구를 최대한 많이 쓰도록 독려했습니다. 이른바 '토큰맥싱(tokenmaxxing)'이라고 불리는 흐름인데, 쉽게 말해 AI 사용량을 의도적으로 극대화하는 전략입니다. 그런데 청구서를 받아보니 비용이 종잡을 수 없이 튀어 있었습니다. 우버처럼 글로벌 기업도 예산이 4개월 만에 바닥났다면, 중소기업은 더 심각한 상황이었을 가능성이 큽니다.

컨설팅 기업 가트너(출처: Gartner)의 분석에 따르면, AI 코딩 도구에서 발생하는 비용은 2028년이면 평균적인 인간 개발자 연봉을 앞지를 것으로 전망됩니다. 같은 설문에서 올해 테크 예산 인상을 전망한 기업이 전체의 4분의 3에 달했고, 그 중 절반 가까이는 두 자릿수 증가율을 예상했습니다. 제가 이 수치를 보고 놀랐던 건 "AI가 비용을 줄여준다"는 말이 얼마나 조건부인지 새삼 실감했기 때문입니다.

오픈AI와 앤트로픽 같은 프리미엄 AI 개발사들이 꾸준히 토큰당 단가를 내리고 있는 건 사실입니다. 그러나 AI 활용 범위 자체가 폭발적으로 넓어지다 보니 단가 인하 효과가 사용량 증가에 묻혀버리는 구조입니다. 비용이 줄어드는 속도보다 쓰는 속도가 더 빠른 셈입니다.

• 토큰 종량제: 사용량에 비례한 과금 구조로, 예측이 어려워 예산 초과 위험이 큼
• 토큰맥싱: AI 사용을 극대화하는 전략으로, 단기 생산성 향상과 장기 비용 폭증을 동시에 유발
• 가트너 전망: 2028년 AI 코딩 도구 비용이 평균 개발자 연봉 초과 예상
• 테크 예산 증가: 기업의 75%가 올해 예산 인상을 전망, 절반은 두 자릿수 증가 예측

요약: AI 종량제 구조와 무분별한 사용 확대가 맞물리면서 기업 AI 비용이 예산 통제 범위를 넘어서고 있으며, 이는 단순한 비용 문제가 아니라 AI 전략 전체를 재검토하게 만드는 구조적 문제입니다.

 

중국산 모델과 멀티플랫폼 전략의 현실

비용 압박이 커지자 기업들이 눈을 돌린 곳이 중국산 오픈소스 AI입니다. 오픈 라우터(Open Router)처럼 여러 AI 모델을 한 창구에서 쓸 수 있는 라우팅 서비스가 급부상한 것도 같은 이유입니다. 라우팅 서비스란 쉽게 말해 'AI 오픈 마켓'으로, 쉬운 작업은 저렴한 모델에 자동 배분하고 복잡한 업무만 고급 모델에 넘기는 방식입니다.

씨티그룹(출처: Citigroup)의 분석에 따르면, 오픈 라우터에서 오픈소스 AI가 처리하는 토큰 비중이 올해 1월 34%에서 6월에는 65%로 거의 두 배 가까이 뛰었습니다. 이 중 가장 인기 있는 상위 4개 모델이 모두 중국산이고, 1위는 딥시크(DeepSeek)입니다. 비용 차이가 압도적입니다. 중국산 모델은 100만 토큰당 최저 18센트인 반면, 미국산 프리미엄 모델 평균가는 4달러, 즉 약 22배 차이가 납니다.

성능 격차도 빠르게 좁혀지고 있다는 의견이 있습니다. AI 스타트업 블루록의 헤롤드 변 CEO는 "과거에는 오픈소스 모델이 메이저 AI보다 1년 이상 뒤처졌지만, 지금은 4개월 수준으로 줄었다"고 말했습니다. 웨카의 발 버코비치 최고AI책임자(CAIO)도 "최근 오픈소스 모델은 빅테크 제품 성능의 90%를 구현하면서 비용은 10% 수준"이라고 밝혔습니다. 제가 직접 딥시크를 몇 가지 업무에 써봤는데, 단순 요약이나 초안 작성 수준에서는 체감 차이가 생각보다 크지 않았습니다.

그렇다고 중국산 모델을 무조건 긍정적으로 볼 수 있느냐 하면, 저는 그건 좀 다르다고 생각합니다. 기업 업무에는 고객 정보, 내부 코드, 계약서, 재무 자료처럼 외부로 나가선 안 되는 데이터가 뒤섞여 있습니다. 가격이 싸다는 이유만으로 이런 데이터를 중국산 모델에 입력했다가 데이터 유출이 발생하면, 절감한 비용의 몇 배를 법적 비용과 신뢰 손실로 날릴 수 있습니다. 특히 금융, 의료, 공공 분야에서는 AI 모델의 데이터 처리 위치와 법적 책임 소재가 성능만큼이나 중요한 선택 기준입니다.

업계에서 현실적인 대안으로 떠오르는 것이 멀티플랫폼 전략입니다. 멀티플랫폼 전략이란 단일 AI 모델에 의존하지 않고 업무 성격에 따라 여러 모델을 병용하는 방식입니다. 단순 요약, 데이터 분류, 반복 고객 문의 대응처럼 오류 비용이 낮은 업무는 저렴한 오픈소스 모델에 맡기고, 복잡한 추론이나 법률·의료처럼 오류 한 번에 큰 손실이 생기는 업무는 클로드나 챗GPT 같은 프리미엄 모델에 배치하는 방식입니다. 제 경험상 이건 단순히 비용을 아끼는 문제가 아니라, 업무별 리스크를 어떻게 관리할 것인지에 대한 전략적 판단에 가깝습니다.

중요한 건, 모델을 아무렇게나 섞는 것이 능사가 아니라는 점입니다. 업무별 보안 등급, 오류 허용 수준, 검수 체계를 먼저 정해야 멀티플랫폼 전략이 제대로 작동합니다. 이런 체계 없이 그냥 싼 모델부터 먼저 쓰면, 검수 비용과 오류 대응 비용이 절감액을 넘어서는 상황이 생길 수 있습니다.

요약: 중국산 AI 모델의 가격 경쟁력은 분명하지만 보안·신뢰 리스크를 함께 고려해야 하며, 업무 난이도와 보안 등급에 따라 모델을 나눠 쓰는 멀티플랫폼 전략이 현실적인 대안으로 부상하고 있습니다.

 

자주 묻는 질문

Q. 기업들이 AI 비용을 감당하기 어려운 이유가 뭔가요?

A. 핵심은 종량제 구조입니다. AI 에이전트는 토큰 사용량에 따라 요금이 붙기 때문에, 직원들이 AI를 많이 쓸수록 비용이 선형이 아니라 기하급수적으로 늘어날 수 있습니다. 우버처럼 사용량을 미리 예측하기 어려운 구조에서 AI 도입을 전사적으로 밀어붙이면 예산이 생각보다 훨씬 빨리 소진됩니다. 단가가 내려가도 사용량 증가 속도가 더 빠르면 총비용은 오히려 늘어납니다.

 

Q. 딥시크 같은 중국산 AI 써도 되나요, 보안 문제 없나요?

A. 가격 경쟁력은 확실하지만 보안 리스크를 무시하기 어렵다는 시각이 많습니다. 개인 사용이나 공개 정보를 다루는 업무에서는 써볼 수 있다고 보는 분들도 있는데, 저는 고객 정보나 내부 코드처럼 민감한 데이터가 포함된 업무에 중국산 모델을 쓰는 건 신중해야 한다고 생각합니다. 특히 금융·의료·공공 분야는 데이터 처리 위치와 법적 책임 소재까지 따져야 합니다.

 

Q. 오픈 라우터(Open Router) 같은 라우팅 서비스가 실제로 비용 절감이 되나요?

A. 씨티그룹 분석 기준으로 오픈소스 AI의 처리 비중이 반년 만에 34%에서 65%로 뛴 걸 보면, 기업들이 실제로 효과를 체감하고 있다고 볼 수 있습니다. 다만 라우팅 서비스 자체도 관리 비용과 세팅 비용이 들기 때문에, 규모가 작은 기업에서는 오히려 복잡도만 높아질 수 있습니다. 업무량과 AI 사용 빈도가 일정 수준 이상일 때 효과가 확실히 납니다.

 

Q. 멀티플랫폼 전략을 도입하려면 어디서 시작해야 하나요?

A. 먼저 사내 AI 사용 업무를 '보안 등급'과 '오류 허용 수준'을 기준으로 분류하는 게 출발점입니다. 오류가 나도 검수로 잡을 수 있고 외부 데이터가 포함되지 않는 업무부터 저가 모델로 전환해 보는 방식이 현실적입니다. 모델을 바꾸는 것보다 어떤 업무에 어느 모델을 배치할지 기준을 먼저 만드는 것이 더 중요합니다.

 

결론

기업들이 저가 중국산 AI 모델을 찾는 건 싼 걸 좋아해서가 아닙니다. AI 사용량이 폭증하면서 비용 통제가 사실상 생존 문제가 됐기 때문입니다. 솔직히 이건 예상 밖이었습니다. AI가 효율을 높여준다는 말은 사실이지만, 사용량을 관리하지 못하면 오히려 예산을 갉아먹는 구조가 된다는 것을 이번 사례가 잘 보여줬습니다.

앞으로 기업의 AI 전략은 "어떤 모델이 가장 똑똑한가"보다 "어떤 업무에 어떤 모델을 쓰는 것이 가장 효율적인가"로 바뀔 가능성이 큽니다. 중국산 모델의 가격 경쟁력을 활용하되, 보안과 신뢰성을 지키는 업무 설계가 병행돼야 합니다. AI를 잘 쓰는 기업은 가장 비싼 모델을 가장 많이 쓰는 기업이 아니라, 성능·비용·보안 사이에서 균형을 잡는 기업이 될 것입니다.

참고: https://n.news.naver.com/mnews/article/001/0016167198