동일한 인공지능(AI) 모델에 같은 질문을 하더라도 어떤 언어를 사용하느냐에 따라 에너지 소비량이 크게 달라지는 것으로 나타났다. 한국어로 질문하면 영어보다 약 3배 많은 에너지를 소비하는 사례도 확인됐다. 언어별 토큰화 효율의 차이가 AI 연산량과 전력 소비를 좌우한다는 것이다.
미국 미시간대학교와 영국 케임브리지대학교, 애버딘대학교 공동연구진은 지난달 24~29일 헝가리 부다페스트에서 열린 자연어처리 분야 국제학술대회 'EMNLP 2026'에서 이 같은 내용을 담은 논문을 발표했다. 논문제목은 '언어-에너지 격차: 다국어 대규모언어모델(LLM) 추론의 에너지 비용 측정'이다.
연구진은 미국 미시간대학교를 중심으로 개발된 인공지능 에너지 효율 측정 체계인 엠엘에너지(ML.Energy)와 딥러닝 연산의 전력·에너지 소비량을 측정하는 소프트웨어 제우스(Zeus)를 활용했다.
이를 통해 122개 언어로 구성된 다국어 독해력 평가 데이터셋 '벨레벨레(Belebele)'의 900개 질문을 처리하는 데 필요한 에너지를 측정했다. 평가 대상 모델은 큐웬3(Qwen3)-8B·14B·32B, 제마3(Gemma-3)-27B, 라마(Llama)-3.1-8B 등이며, 엔비디아의 L40S와 RTX 6000 프로 블랙웰(Blackwell) 그래픽처리장치(GPU)에서 실험을 진행했다.
연구 결과, 답변 토큰 1개를 생성하는 데 필요한 에너지는 언어에 따라 최대 8.3배, 동일한 질문 세트를 처리하는 데 필요한 총에너지는 최대 179배까지 차이가 났다. 영어로 900개 질문을 처리하는 데 1만6762J(줄)이 소비된 반면, 아프가니스탄과 파키스탄 일부 지역에서 사용하는 언어인 파슈토어는 314만6541J가 필요했다.
이는 다국어 AI 서비스에서 언어별 연산 효율의 차이가 전력 비용과 탄소 배출의 불균형으로 이어질 수 있음을 보여준다.
◇ 한국어, 영어보다 3.1배 많은 에너지 소비
한국어는 파슈토어나 티베트어 등 저자원 언어에 비해 상대적으로 안정적인 에너지 효율을 보였지만, 영어와 중국어·일본어 등 주요 언어와 비교하면 소비량이 높았다.
900개 질문을 처리한 실험에서 영어는 총 1만6762J를 소비했다. 중국어 간체는 3만6245J, 중국어 번체는 4만3207J, 일본어는 4만7542J였다.
한국어는 5만1492J로 비교 대상인 한중일 3개국 언어 가운데 에너지 소비가 가장 많았다. 영어의 약 3.1배, 중국어 간체의 약 1.4배에 해당한다.
언어별 답변 정확도는 영어 94.6%, 중국어 간체 89.6%, 중국어 번체 88.8%, 일본어 78.2%, 한국어 87.8%였다. 한국어의 에너지 소비량이 높은 것은 답변 정확도가 낮기 때문이라기보다, 동일한 내용을 생성하는 데 더 많은 토큰이 필요하기 때문인 것으로 분석됐다.
한국어의 토큰당 에너지 소비량은 0.11J로 영어와 중국어 간체의 0.10J와 큰 차이가 없었다. 그러나 900개 질문에 대한 총 생성 토큰 수는 한국어가 46만8108개로 영어의 16만7621개보다 약 2.8배 많았다.
◇ 교착어 특성과 토크나이저의 불일치가 원인
연구진은 한국어의 에너지 소비량이 높은 주요 원인으로 언어 구조와 토크나이저의 불일치를 지목했다.
글로벌 대규모 언어모델(LLM)에서 널리 사용되는 바이트 페어 인코딩(BPE) 방식의 토크나이저는 라틴 문자 중심의 학습·어휘 구성으로 인해 한국어의 형태소 구조를 효율적으로 반영하지 못할 수 있다. 이 때문에 하나의 단어나 표현이 여러 개의 작은 토큰으로 분할되는 '토큰 파편화'가 발생한다.
토크나이저(Tokenizer)는 AI가 문장을 이해하고 처리할 수 있도록 텍스트를 단어·형태소·문자 등의 작은 단위인 '토큰'으로 분할하는 도구다.
한국어는 어근에 조사와 어미가 결합하는 교착어다. 예를 들어 '먹었습니다'라는 표현은 어근 '먹-'에 시제와 높임, 종결 어미가 결합한 형태다. 토크나이저가 이를 효율적으로 인식하지 못하면 여러 개의 작은 토큰으로 쪼개질 수 있다. 이처럼 토큰 수가 불필요하게 늘어나면 AI가 처리해야 할 문맥 길이와 연산량이 증가해 메모리 사용과 전력 소비가 함께 커진다.
토큰 수가 증가하면 모델이 처리해야 하는 문맥 길이도 길어진다. 특히 GPU 메모리에 저장되는 키-값(Key-Value·KV) 캐시의 크기가 커지고, 메모리 접근과 연산 부담이 늘어난다. 결과적으로 같은 질문에 답하더라도 전력 소비량이 증가한다.
이는 한국어 자체의 결함이라기보다 글로벌 AI 모델의 토크나이저가 한국어의 언어적 특성을 충분히 반영하지 못한 데 따른 기술적 비효율로 볼 수 있다.
◇중국어 사례가 보여준 언어 최적화의 가능성
이번 연구는 한국어 특화 AI 개발의 필요성을 보여주는 동시에, 언어 최적화를 통해 에너지 효율을 개선할 수 있다는 가능성도 제시했다.
중국어 간체는 비라틴 문자 언어임에도 토큰당 에너지 소비량이 영어와 같은 0.10J 수준을 기록했다. 총에너지 소비량은 영어보다 높았지만, 한국어보다는 낮았다.
이는 언어별 학습 데이터와 토크나이저 설계를 최적화하면 비라틴 문자 언어에서도 상당한 에너지 효율을 확보할 수 있음을 시사한다.
한국어 AI 개발 역시 단순히 모델 규모를 키우거나 학습 데이터를 늘리는 데 그쳐서는 안 된다. 한국어의 형태소 구조와 어휘 특성을 반영한 토크나이저를 설계하고, 추론 과정에서 발생하는 불필요한 연산을 줄이는 기술이 함께 개발돼야 한다.
◇ 소버린 AI, 기술 주권 넘어 에너지 효율 경쟁으로
한국어 특화 소버린 AI 구축은 기술 주권 확보뿐 아니라 AI 산업의 운영 비용과 에너지 소비를 줄이는 과제로도 부상하고 있다.
글로벌 LLM을 그대로 활용할 경우 한국어 서비스는 영어 서비스보다 더 많은 토큰을 생성하고, 그만큼 연산 비용과 전력 소비가 늘어날 수 있다. 이 같은 차이가 대규모 서비스에서 누적되면 기업의 운영 비용과 데이터센터 전력 수요에도 영향을 미친다.
이에 따라 한국어 특화 토크나이저를 개발하는 것도 방법이 될 수 있다. 한국어 특화 토크나이저는 국내 AI 모델의 효율을 높이는 데 그치지 않고 글로벌 AI 기업에 공급할 수 있는 언어 처리 기반기술이 될 수 있다.
기존 모델의 토크나이저를 교체하거나 한국어 토큰을 추가하려면 임베딩 재학습과 성능 검증이 필요하지만, 한국어 처리 비용을 줄일 수 있다는 점이 입증되면 외국 AI 기업의 채택도 가능하다. 한국어의 언어적 특성을 반영한 토크나이저를 개발하고 이를 글로벌 AI 생태계에 확산하는 것은 소버린 AI의 기술 주권을 넘어 새로운 기술 수출 시장을 여는 전략이 될 수 있다.
이와 함께 연구진은 언어별 특성을 고려한 AI 서빙 최적화가 필요하다고 제안했다. GPU 배치 크기와 메모리 할당을 언어별 생성 패턴에 맞춰 조정하고, 불필요하게 긴 답변이나 반복 출력을 줄이는 방식이다.
질문의 난이도와 언어적 특성에 따라 경량 모델과 대형 모델을 선택적으로 활용하는 쿼리 라우팅도 효율을 높일 수 있다. 단순한 지식 검색이나 연산 질의는 필요에 따라 번역 후 처리하는 방식으로 추론 부담을 줄이는 방안도 검토할 수 있다.
AI 모델 평가 기준에도 에너지 소비량을 포함해야 한다. 답변 정확도와 생성 속도뿐 아니라 토큰당 추론 에너지와 질의당 총에너지 소비량을 함께 측정하고, 언어별 결과를 모델 카드에 공개하는 방식이다.
이번 연구는 다국어 AI의 성능을 평가할 때 언어별 에너지 효율을 간과해서는 안 된다는 점을 보여준다. 한국어가 글로벌 AI 생태계에서 겪는 에너지 비효율은 언어 자체의 문제가 아니라 기술 설계와 최적화의 문제다.
한국어에 적합한 토크나이저와 추론 인프라를 개발하는 것은 소버린 AI의 경쟁력을 높이는 동시에, 데이터센터의 전력 소비와 탄소 배출을 줄이는 친환경 AI 전략의 중요한 축이 될 수 있다는 것이다.
