'주경야독' 하는 AIDC…GPU 가동률 높인다

AI 워크로드 2030년 156GW 전망…전력·냉각 부담에 '유휴 GPU 최소화' 중요

카카오도 시간대별 GPU 전환 검토…엘리스는 학습·추론별 인프라 최적화

포항 AI 데이터센터 조감도. [사진=경상북도]

인공지능(AI) 연산 수요가 급증하면서 데이터센터에 투입되는 그래픽처리장치(GPU)를 얼마나 효율적으로 활용할 것인지가 새로운 과제로 떠오르고 있다.

1일 시장조사업체 가트너·IDC와 엔비디아 등의 데이터를 기반으로 한 맥킨지 분석에 따르면 글로벌 데이터센터의 AI 워크로드 수요는 2025년 44GW에서 2030년 156GW로 약 3.5배 증가할 전망이다. 전체 데이터센터 수요도 같은 기간 82GW에서 219GW로 늘어날 것으로 예상된다. 특히 AI 추론 수요는 2025년 20.9GW에서 2030년 93.3GW로 연평균 35% 증가해 학습 수요 증가율(22%)을 웃돌 것으로 전망됐다.

GPU를 많이 확보하는 것만으로는 늘어나는 연산 수요에 대응하기 어려운 이유다. 고성능 GPU가 대규모로 탑재되면서 랙당 전력밀도가 높아지고 냉각 부담도 커지고 있기 때문이다. AI 데이터센터에서는 고밀도 GPU 환경에 대응하기 위해 액체냉각 등 새로운 냉각 기술을 적용하는 움직임도 나타나고 있다.

업계에서는 AI의 두 가지 주요 워크로드인 학습과 추론의 특성을 활용해 GPU를 효율적으로 배치하는 방안도 주목한다. 학습은 대규모 연산을 집중적으로 수행하지만 일정 수준의 지연이나 작업 중단을 감수할 수 있는 반면, 추론은 이용자에게 실시간으로 결과를 제공해야 해 낮은 지연시간과 안정적인 처리 능력이 중요하다.

맥킨지는 이러한 특성 차이로 학습과 추론이 데이터센터의 입지와 설계, 전력 공급 전략에도 서로 다른 영향을 미칠 것으로 분석하고 있다.

특히 실시간 서비스의 트래픽이 낮아지는 시간대에 추론용 GPU를 다른 작업에 활용하는 방식이 하나의 해법으로 제시된다. 추론 수요가 높은 시간에는 GPU를 실시간 서비스에 우선 배치하고, 수요가 줄어드는 시간에는 유휴 GPU를 학습·재학습·배치 작업 등에 투입하는 방식이다.

레드햇이 지난 3월 발표한 보고서에서 이러한 방식을 ‘낮에는 추론, 밤에는 학습’이라는 전략으로 제시했다. 레드햇은 추론 작업은 실시간 응답을 위해 낮은 지연시간과 지속적인 가용성이 필요하지만, 학습 작업은 상대적으로 지연이나 중단을 허용할 수 있어 추론 수요가 감소하는 야간에 배치하기 적합하다고 설명했다. 또 실시간 수요에 따라 GPU 자원을 동적으로 배분하는 오케스트레이션을 통해 유휴 GPU를 줄일 수 있다고 제안했다.

국내에서도 이 같은 방식이 GPU 효율성을 높이기 위한 대안으로 떠오르고 있다. 카카오는 차기 AI 인프라 운영 방안을 고민하면서 시간대별 GPU 활용 방식도 검토하고 있다. 김세웅 카카오 AI 시너지 부사장은 “실시간 응답을 요하는 추론 서버는 트래픽에 맞춰 주간에 사용하고 남는 GPU를 모아 야간에 학습을 위해 투입하는 방식이 한국형 GPU 운영 방식이라고 생각한다”고 말했다.

국내 AI 인프라 기업들은 시간대별 자원 배분뿐 아니라 워크로드 자체의 특성에 맞춰 데이터센터를 설계하는 방식으로 효율화에 나서고 있다. 엘리스그룹은 AI 모듈형 데이터센터(PMDC)를 학습과 추론의 요구사항에 맞춰 다르게 설계하고 있다. 학습에는 GPU와 초저지연 클러스터링을 활용해 최대 성능을 확보하고, 추론에는 NPU와 고가용성·비용 효율성을 강조하는 구조다.

업계 관계자는 “AI 데이터센터에서는 GPU를 얼마나 확보했느냐뿐 아니라 확보한 GPU를 실제 연산에 얼마나 효율적으로 활용하느냐가 중요해지고 있다”며 “추론과 학습의 특성이 다른 만큼 트래픽과 전력 상황에 맞춰 GPU를 유연하게 배분하고, 냉각 등 인프라 효율까지 높이는 방식이 앞으로 데이터센터 운영 경쟁력을 좌우할 것”이라고 말했다.