[사이언스미디어센터] 전문가 의견 <AI 에이전트의 '숨은 전력 비용'...기존 생성형 AI의 136배 (KAIST / IEEE HPCA)>

최근 거대언어모델(LLM)을 기반으로 하는 AI는 모델의 크기(파라미터 수)나 학습 데이터의 양을 키우는 대신에 생각의 사슬(Chain-of-Thought)과 같이 단계적으로 계산을 반복함으로써 성능을 높이는 테스트-시간 확장(test-time scaling) 방법을 사용하면서 추론(reasoning) AI로 발전했다. 그리고 이것이 더 확장되어 복잡한 업무를 작은 업무의 흐름으로 나누어 단계적으로 수행하고, 필요하면 외부의 도구까지도 사용하는 AI 에이전트로 발전되어 사용되고 있다. 이러한 AI 에이전트는 외부 도구의 결과에 따라 업무를 반복 수행하는 동적 추론(dynamic reasoning) 기능도 포함하고 있다.

 

이와 같이 단계적으로 모델을 반복 수행하고 외부 도구를 사용하며 결과에 따라 업무를 다시 수행하는 AI 에이전트는 기존 챗봇 대비 훨씬 더 많은 계산을 해야 한다. 그래서 빅테크들은 이와 같이 급증하는 계산량을 감당하기 위해서 지속적으로 천문학적인 비용을 AI 데이터센터(AIDC)에 투입하고 있다.

 

이 논문은 AI 에이전트에서 동적 추론을 함으로써 얼마나 큰 비용을 쓰는지 정량적으로 분석한 결과를 보여준다. 메타의 Llama-3.1-Instruct를 내부 LLM(backend LLM)으로 하는 다양한(5 종류) AI 에이전트를 갖고 실험했는데, 모델의 크기에 따라서, 또 AI 에이전트에 따라서 정확도와 에너지 소비가 많이 다르다는 것을 보여준다. 또한 더 오래, 더 많이 계산하고, 에너지를 더 많이 소비하면 정확도가 개선되지만 일정 수준을 넘으면 정확도 개선이 포화되는 것도 보여준다. 이런 실험 결과를 바탕으로 전체 시스템을 최적화하는 연구를 해볼 만하다고 판단된다.

 

한편 70B LLM만으로 단발성 대화(ShareGPT)를 수행한 것에 비해 같은 LLM을 포함하는 AI 에이전트(Reflexion)로 복잡한 질문(HotpotQA)을 수행한 것이 136.5배까지 GPU의 에너지 소비가 증가한다는 것을 보여주고 있는데, 이 경우 어려운 질문에 답을 잘하기 위해 어쩔 수 없이 AI 에이전트를 사용하는 면도 있어서 적절한 비교라고 하기는 어렵다. 그럼에도 불구하고 단순한 채팅에 비해 복잡한 문제를 풀기 위해서는 현재의 기술로는 훨씬 더 큰 에너지를 써야 한다는 것을 잘 보여준다.

 

이 논문이 주장하는 것처럼 이런 정량적 분석 결과는 이번에 처음 발표되는 것으로 생각된다. 그리고 현재 사용되고 있는 AI 에이전트들이 요구하는 대로 무작정 AIDC의 규모와 비용을 키우는 것은 지속가능하지 않을 수 있다는 경종을 울린다는 면에서 이 논문은 큰 의미를 가진다. 또한 이 논문의 분석 결과를 바탕으로 AI 에이전트의 알고리즘과 데이터센터의 하드웨어와 소프트웨어를 포함하는 전체적인 구조를 함께 고려하면서 최적화하는 연구도 해볼 수 있을 것이다.

 

우리나라를 포함해서 전 세계적으로 AIDC와 함께 그 안에 들어가는 반도체(GPU, 메모리 등)와 기타 자재가 부족해서 어려움을 겪고 있는데, 거기에 필요한 전력 공급은 또 다른 어려움이다. 그러니 AIDC의 에너지 소비를 줄이는 노력이 절실하다. GPU 대신 효율이 좋은 NPU로 대체해서 공급망, 비용, 에너지 소비 등의 문제를 해소하고자 하는 것도 그런 노력의 일환이다. 그리고 AI 에이전트와 그 운용 방법을 다양한 각도에서 최적화하는 노력도 병행할 필요가 있고, 이 논문의 분석 결과가 그 시작점이 될 수도 있겠다.

AI의 소비 전력 문제는 이미 많이 제기되었지만, AI의 발전 과정에서 곧 해소될 사소한 문제인 것처럼 다루어지는 경우가 많습니다. AI의 미래에 대한 장미빛 예측을 하는 사람들은 전력 문제에 애써 눈을 돌리거나, 이 문제가 곧 해결될 수 있다는 막연한 기대와 확신에 기대곤 합니다. 그러나 AI가 모두가 사용해야 하는 에너지의 가격을 올리는 결과를 초래한다면, AI의 사용으로 생기는 유익이 무엇이고, 누구의 유익을 위한 것인지를 좀 더 면밀하게 따져 봐야 합니다. AI 기술의 발전이 필연이고, 모두의 유익이 될 것처럼 이야기하는 것은 오류입니다. 그 발전이 모두의 유익이 되도록 하기 위한 논의와 방향 설정이 선행되어야 합니다. 

한국과학기술미디어센터는 근거 기반의 과학 정보를 언론에 제공하는, 과학계와 미디어 사이의 다리 역할을 하는 독립 비영리 조직입니다. 잘못된 정보와 가짜 뉴스가 넘쳐나는 세상에서, 제대로 된 전문가의 해설과 의견을 빠르고 다양하게 기자들에게 제시하고 이를 체계적으로 아카이빙하는 역할을 합니다.

2025년 7월 이사회를 구성하고(이사장 노정혜 전 한국연구재단 이사장) 센터장(이근영 전 한겨레 과학전문기자)을 선임했으며, 같은해 9월 개소식을 열며 활동을 시작했습니다.

*참고 기사: 

SMCK는 세 분야 전문가인 과학자, 기관 커뮤니케이터(홍보팀), 기자에게 구체적인 도움을 드리고자 설립됐습니다. 각각 아래와 같습니다.

SMCK는 이를 통해, 궁극적으로 근거에 기반해 사안을 합리적으로 판단하고 이것이 정책에까지 반영되는 사회를 만드는 데 기여하고자 합니다.

사이언스미디어센터(SMC)는 2002년 영국에서 최초로 설립됐고 현재 호주와 뉴질랜드, 독일, 스페인, 대만, 아일랜드 등으로 확장됐습니다. 한국은 2025년 12월, 7번째 센터로 합류했습니다. 글로벌 네트워크에 포함된 8개 조직은 엄격한 독립성과 신뢰성이라는 가치를 공유하고 있으며 협력을 통해 주요한 국제 과학 이슈에 공동 대응하고 있습니다.