AI가 다 된다는 세상에서, 나는 왜 토큰이 부족할까
요즘 SNS나 트위터를 보면 AI 성능 평가 글이 쏟아진다.
특히 GPT-6 Astra를 써보며 성능이 좋아진 만큼 사용량도 더 빨리 줄어드는 느낌이 들었다. OpenAI는 공식 발표에서 컴퓨터 사용, 브라우징, 소프트웨어 엔지니어링 등을 Astra의 주요 능력으로 소개했다. 내 피드에서도 성능과 사용량 이야기가 이어지지만, 그 목소리가 전체 사용자를 대표한다고 단정할 수는 없다.
그런데 정작 내 주변을 둘러보면 이 정도로 AI를 진지하게 쓰는 사람은 많지 않다. 업무에서 자동화가 기술적으로 가능한 영역조차, 사람들은 "굳이"라는 태도를 취한다.
내 주변에서 느껴지는 조용함 사이의 간극은 어디서 오는 걸까.
도입했다와 일하는 방식이 바뀌었다
McKinsey의 2025년 설문에서 응답자의 88%는 조직이 한 개 이상의 업무 기능에서 AI를 정기적으로 쓴다고 답했지만, 약 3분의 1만 기업 차원에서 AI 프로그램을 확장 중이라고 답했다. 에이전트는 23%가 조직 내 한 곳 이상에서 확장 중이라고 답했고, 어떤 단일 업무 기능에서도 확장 응답은 10%를 넘지 않았다. 자기보고 설문이 모든 기업의 전수 통계는 아니지만, '도입했다'와 '일하는 방식이 바뀌었다'를 구분하는 데는 도움이 된다.
내 타임라인에서 유독 목소리가 크게 들리는 것도 표본이 편향된 탓일 수 있다. 내가 보는 피드에는 얼리어답터나 개발자, AI 콘텐츠에 관심 있는 사람이 많다. 이 피드만으로 일반적인 사용 패턴을 대표할 수는 없다.
그리고 "자동화는 되는데 굳이"라는 태도는 기술의 한계뿐 아니라 책임 소재의 문제에서 나올 수 있다고 나는 본다. 일이 잘못됐을 때 누가 책임지느냐가 불분명하면 자동화를 선뜻 받아들이기 어렵다. 사람이 개입하지 않고 처리하는 도구일수록 이 문제는 더 첨예해질 수 있다.
버블일까, 너무 앞선 돈일까
여기까지 생각이 미치자, 자연스럽게 더 큰 의심이 들었다. 지금의 AI 열풍 자체가 버블은 아닐까.
투자 규모와 실제 수익을 비교하는 관점도 있다. Sequoia Capital의 2024년 'AI's $600B Question'은 당시 인프라 투자 가정을 놓고 이를 뒷받침하려면 어느 정도의 AI 매출이 필요한지 계산했다. 이 글은 2026년 현재의 실제 매출 격차를 측정한 통계가 아니라 투자 가정에서 출발한 질문이다.
반대 신호도 있다. 엔비디아는 2027 회계연도 2분기 매출 962억 달러와 데이터센터 매출 890억 달러를 보고했다. 공급업체의 실적이 좋다는 사실과 고객 기업이 AI 지출을 수익으로 회수했는지는 별개의 질문이다.
닷컴 버블의 사례를 떠올리면, 기술의 쓸모와 그 기술에 쏠린 자금의 회수 시점은 다른 문제일 수 있다고 생각한다. 그렇다고 이번에도 같은 결과가 나온다고 장담할 수는 없다.
그 조정의 신호는 토큰 부족이었다
그리고 그 조정의 신호를 나는 아주 개인적인 자리에서 먼저 느꼈다. 바로 토큰 부족이다.
이전에 나온 GPT-5.6 계열의 Sol이나 Terra를 쓸 때는 사용량이 부족하다고 느낀 적이 없었다. 그런데 Astra로 넘어오면서 처음으로 이걸 체감하고 있다.
OpenAI 도움말은 Astra가 플랜에 포함된 Work·Codex 할당량을 사용하고, GPT-5.6 Sol보다 그 할당량을 더 빠르게 쓸 수 있다고 설명한다. 실제 소모량은 작업, 입력·출력 크기, 추론 설정 등에 따라 달라진다. ChatGPT 구독 할당량과 개인 API 키의 토큰 가격은 서로 다른 과금 방식이다.
그래서 내게는 같은 구독을 쓰는 동안에도 Astra에서 남은 할당량이 더 빨리 줄어드는 느낌이었다. 성능이 나빠서가 아니라, 한 작업에 들어가는 사용량이 더 컸기 때문이다.
이 경험에서 생각하게 된 건 벤치마크 순위만큼이나 실제 작업을 얼마나 이어갈 수 있는지가 중요하다는 점이다. 일반 사용자에게는 모델의 최고 성능과 함께, 감당할 수 있는 비용과 책임 범위도 도입 판단의 일부다.
가격을 낮춰줄 쪽은 어디일까
그 가격 문제를 풀 주체가 OpenAI만일 거라고 생각하지 않는다. 오픈웨이트 모델과 중국 기업들의 가격 경쟁이 더 낮은 비용의 선택지를 넓힐 수 있다는 기대가 내게는 있다. 다만 공개된 가격표와 벤치마크만으로 중국 모델이 Astra를 몇 달 안에 따라잡으리라고 말할 근거는 이 글에서 제시하지 못한다.
그리고 그 간극을 메울 힘은 미국 빅테크 하나만이 아니라 중국 기업을 포함한 모델 사업자 사이의 가격 경쟁에서도 나올 수 있다고 나는 기대한다.
AI가 진짜 보편화되는 순간은, 최고 성능의 모델이 나오는 순간이 아니라 그 성능에 근접한 것을 아무나 부담 없이 쓸 수 있는 가격이 된 순간일 것이다.
부족한 토큰을 세어가며 그 순간을 기다리고 있다.
최고 성능보다 매달 감당할 수 있는 사용량과 실패했을 때 책임지는 구조가 실제 도입을 결정한다는 구분이 설득력 있네요. 벤치마크가 올라가도 기존 모델로 충분한 업무가 많다면, 조직은 새 모델을 전면 적용하기보다 비용과 검증 부담이 큰 작업에만 선택적으로 배치하는 편이 현실적일 것 같습니다.
답글삭제