안녕하세요. 한국경제신문 뉴욕특파원 박신영입니다.
ADVERTISEMENT
‘박신영의 월가 아나토미’ 세번째 제목은 ‘AI 데이터센터의 기업지도’입니다.
AI산업에서 경쟁력을 갖기 위해선 GPU를 확보하는 게 중요하죠. 하지만 이제 GPU를 많이 확보하는 것만으로는 부족합니다. 수십만 개의 GPU를 설치할 공간과 이를 연결할 네트워크가 필요하고, 막대한 전력을 공급하고 발생하는 열을 식혀줄 냉각 설비도 필요합니다.
ADVERTISEMENT
결국 AI 경쟁은 GPU 확보 경쟁에서 누가 더 크고 강력한 AI 데이터센터를 얼마나 빨리 구축하느냐의 경쟁으로 확대되고 있습니다.
특히 하이퍼스케일러의 내년 자본지출(CAPEX)가 1조 3000억 달러, 약 1800조원에 이른다고 하죠. 천문학적인 금액의 상당 부분은 데이터센터에 흘러 들어갑니다. 결국 데이터센터에 참여하는 기업들이 이 투자의 수혜를 입게 되는거죠.
이번 ‘월가 아나토미’에서는 AI 시대에 데이터센터가 왜 이렇게 중요해졌는지, 그리고 여기에 어떤 기업과 산업이 연결되는지 살펴보겠습니다.
미국에 얼마나 많은 데이터센터가 있을까
ADVERTISEMENT
먼저 미국의 데이터센터 규모부터 보겠습니다.
이 자료를 기준으로 미국에는 총 3408개의 데이터센터가 있습니다. 운영 중인 곳이 1301개이고, 계획된 곳이 2059개입니다.
ADVERTISEMENT
현재 가동 중인 데이터센터의 전력 용량은 약 6만1000MW, 계획된 데이터센터는 약 37만8000MW입니다.
여기서 1MW가 어느 정도인지 감을 잡아보겠습니다.
ADVERTISEMENT
1MW는 1000kW입니다. 아주 단순하게 비교하면 미국 가정 약 1000가구에 전력을 공급할 수 있는 규모로 볼 수 있습니다. 물론 실제 전력 사용량에 따라 차이는 있습니다.
그러니까 데이터센터 하나가 수백MW를 사용한다는 것은 상당한 규모의 도시가 사용하는 전력 수요와 맞먹는 수준입니다.
그런데 앞으로 계획된 데이터센터는 수GW 규모까지 커지고 있습니다.
이유는 바로 AI입니다.
AI 이전의 데이터센터
먼저 AI 이전의 데이터센터부터 보겠습니다.
우리가 온라인 쇼핑을 하고, 구글에서 검색하고, 유튜브 영상을 보고, 은행 계좌를 조회하면 뒤에서는 데이터센터가 움직입니다.
데이터센터 안에는 수천 대에서 수만 대의 서버가 있고 각각 다른 업무를 처리합니다.
어떤 서버는 검색을 담당하고, 어떤 서버는 결제를 처리합니다. 또 다른 서버는 데이터베이스나 이메일을 담당합니다.
즉 기존 데이터센터는 쉽게 말하면 수많은 컴퓨터를 한 건물 안에 모아놓은 곳이었습니다.
핵심 기능은 저장과 계산, 전송입니다.
그런데 AI가 등장하면서 이 구조가 크게 달라지고 있습니다.
AI 등장으로 계산량 폭발
가장 큰 변화는 계산량입니다.
CPU는 복잡하고 서로 다른 업무를 순서대로 처리하는 데 강합니다.
하지만 AI는 비슷한 수학 계산을 엄청나게 많이 반복해야 합니다.
GPU는 이런 계산을 동시에 대량으로 처리할 수 있습니다. 이 내용은 두 번째 월가 아나토미에서 자세히 설명드렸습니다.
이 같은 이유로 AI 학습과 추론에서 GPU가 핵심 장비가 됐습니다.
그런데 AI 모델이 점점 커지면서 또 다른 문제가 생겼습니다.
GPU 한 개로도 부족해진 것입니다.
GPU 한 개로는 부족
기존 데이터센터에서는 여러 CPU 서버가 각자 다른 업무를 처리했습니다.
반면 AI 데이터센터에서는 수천 개, 수만 개의 GPU가 하나의 AI 모델을 함께 계산합니다.
AI 모델이 커질수록 필요한 GPU 숫자도 늘어납니다.
그래서 이제 중요한 것은 GPU 한 장의 성능뿐만이 아닙니다.
얼마나 많은 GPU를 하나의 시스템처럼 묶어서 움직일 수 있느냐가 중요해졌습니다.
그리고 여기서 네트워크의 중요성이 커집니다.
GPU끼리 통신도 중요
GPU들이 하나의 AI 모델을 함께 계산하려면 계속해서 데이터를 주고받아야 합니다.
GPU 1이 계산한 결과를 GPU 2와 GPU 3이 받아야 하고, 다음 계산 결과를 다시 서로 공유해야 합니다.
GPU 자체가 아무리 빨라도 데이터 교환 속도가 느리면 다른 GPU들이 기다려야 합니다.
결국 비싼 GPU를 많이 설치해도 제대로 활용하지 못할 수 있습니다.
그래서 AI 데이터센터에서는 GPU 자체의 성능과 함께 GPU끼리 얼마나 빠르게 연결되느냐가 중요합니다.
데이터센터가 하나의 거대 컴퓨터로
그래서 AI 시대에는 데이터센터 자체의 개념도 달라지고 있습니다.
기존 데이터센터가 여러 컴퓨터를 한 건물에 모아둔 곳이었다면, AI 데이터센터에서는 수만 개에서 수십만 개의 GPU를 초고속 네트워크로 연결합니다.
그리고 이 GPU들이 하나의 AI 모델을 함께 학습하고 추론합니다.
결국 데이터센터 전체가 하나의 거대한 AI 컴퓨터처럼 움직이는 것입니다.
그렇다면 이런 AI 데이터센터는 누가 지을까요.
누가 데이터센터를 지을까
크게 네 그룹으로 나눠볼 수 있습니다.
첫 번째는 AWS, 마이크로소프트, 구글, 메타, 오라클 같은 빅테크·클라우드 기업입니다.
두 번째는 오픈AI, xAI 같은 AI 기업입니다.
세 번째는 코어위브, 네비우스 같은 AI 인프라 전문기업입니다.
네 번째는 QTS, 밴티지, STACK 같은 데이터센터 개발·운영 전문기업입니다.
여기서 네 번째 그룹은 조금 헷갈릴 수 있습니다.
QTS나 밴티지는 직접 AI 서비스를 하는 회사라기보다 데이터센터 건물과 전력 인프라를 만들어 기업에 빌려주는 역할을 합니다.
여기에 마이크로소프트나 AWS, 구글 같은 하이퍼스케일러가 들어올 수도 있고, 오픈AI나 코어위브 같은 AI 기업이 고객이 될 수도 있습니다.
즉 데이터센터를 지은 회사와 그 안에서 GPU를 사용하는 회사가 다를 수 있습니다.
누가 GPU를 구매할까
따라서 데이터센터를 지은 회사가 반드시 GPU를 구매하는 회사는 아닙니다.
AWS, 마이크로소프트, 구글, 메타 같은 빅테크는 GPU를 직접 구매할 수 있습니다.
오픈AI, xAI 같은 AI 기업과 코어위브 같은 AI 인프라 기업도 직접 구매할 수 있습니다.
반면 QTS나 밴티지처럼 데이터센터 공간을 임대해주는 기업의 경우 실제 GPU 구매자는 그 공간을 빌린 고객일 수 있습니다.
즉 데이터센터 소유주, GPU 구매자, GPU 사용자가 모두 다를 수 있습니다.
엔비디아는 GPU만 팔까? NO
엔비디아 역시 이제 단순히 GPU만 판매하는 회사로 보면 부족합니다.
GPU 여러 개를 묶으면 서버가 되고, 여러 서버를 모으면 하나의 랙이 됩니다. 엔비디아는 서버 시스템 자체를 판매하기도 합니다.
그리고 서버 안에는 GPU만 들어가는 것이 아닙니다.
CPU와 메모리, 스토리지, 네트워크, 전원공급장치, 냉각 시스템까지 필요합니다.
따라서 AI 데이터센터 투자가 커진다는 것은 GPU뿐 아니라 데이터센터 공급망 전체의 시장이 커진다는 의미입니다.
엔비디아가 메모리 기업들과 긴밀하게 협력하는 것도 이 때문입니다.
HBM 수요 폭발
데이터센터 수요가 급증한다는 것은 결국 서버 수요가 급증한다는 의미입니다.
그리고 서버 수요가 늘어나면 GPU뿐 아니라 서버를 구성하는 다른 부품에 대한 수요도 함께 증가합니다.
대표적인 것이 HBM입니다.
GPU가 엄청난 속도로 계산하려면 데이터를 빠르게 공급해줄 메모리가 필요합니다.
GPU 자체가 아무리 빨라도 메모리가 데이터를 늦게 보내면 GPU가 기다려야 합니다.
그래서 AI GPU에는 일반 메모리보다 훨씬 빠른 HBM이 중요해졌습니다.
대표적인 공급사가 SK하이닉스, 삼성전자, 마이크론입니다.
결국 GPU가 늘어나면 HBM 수요도 함께 증가하는 구조입니다.
스토리지 수요도 급증
스토리지도 중요합니다.
HBM이 데이터를 펼쳐놓고 바로 사용할 수 있는 ‘책상’이라면, 스토리지는 데이터를 좀 더 오래 보관하는 ‘서랍’이나 ‘창고’라고 생각하면 이해하기 쉽습니다.
AI 모델을 학습하려면 엄청난 양의 데이터를 저장해야 합니다.
그리고 필요할 때 이 데이터를 GPU로 빠르게 보내줘야 합니다.
따라서 NAND와 고성능 SSD 수요도 증가합니다.
삼성전자, SK하이닉스, 키옥시아, 마이크론 등이 이 시장에 들어가 있습니다.
여기에 SSD 컨트롤러 업체들까지 연결됩니다.
네트워크에도 주목
AI 데이터센터에서 특히 중요한 것이 네트워크입니다.
수만 개의 GPU가 동시에 데이터를 주고받기 때문입니다.
그래서 스위치와 NIC, 광트랜시버, 광섬유가 필요합니다.
브로드컴과 아리스타 같은 네트워크 기업뿐 아니라 코히런트와 루멘텀 같은 광통신 업체, 코닝과 프리즈미안 같은 광섬유 업체도 AI 데이터센터 투자와 연결됩니다.
전원공급장치에도 주목
다음은 전력입니다.
GPU 성능이 올라갈수록 서버 한 대와 랙 하나가 사용하는 전력이 빠르게 증가합니다.
외부에서 들어온 전기를 변환해 서버까지 안정적으로 공급해야 하고, 정전에 대비한 UPS와 발전기도 필요합니다.
대표적인 기업이 버티브, 이튼, 슈나이더일렉트릭, 델타전자, 플렉스입니다.
AI 투자가 전통적인 전력장비 기업까지 연결되는 이유입니다.
전력을 많이 사용하면 그만큼 열도 많이 발생합니다.
과거 데이터센터는 주로 공기를 이용해 서버를 식혔습니다.
하지만 AI GPU의 전력밀도가 높아지면서 공랭만으로는 감당하기 어려워지고 있습니다.
그래서 액체냉각을 비롯한 새로운 냉각 시스템 수요가 커지고 있습니다.
버티브, 모딘, 엔벤트, 슈나이더일렉트릭, 존슨콘트롤스 등이 대표적인 기업입니다.
데이터센터의 서버에서 보이는 돈의 흐름
데이터센터의 서버 구매 구조도 여러 가지입니다.
델이나 슈퍼마이크로가 엔비디아에서 GPU를 구매한 뒤 서버에 넣어 완제품으로 만들어 마이크로소프트에 판매할 수 있습니다.
이 경우 돈은 마이크로소프트 → 서버업체 → 엔비디아 순으로 흐릅니다.
반대로 마이크로소프트가 엔비디아와 GPU 공급을 직접 협상하고 폭스콘이나 콴타 같은 ODM 업체에 조립만 맡길 수도 있습니다.
따라서 최종 GPU 사용자와 엔비디아 회계상 직접 고객이 반드시 같지는 않습니다.
그렇다면 데이터센터 투자금은 어디로, 어느 정도씩 흘러갈까요.
AI 데이터센터에 100달러를 투자한다고 가정해보겠습니다.
스티펠 자료에서는 IT 장비가 약 65달러를 차지합니다. GPU 서버와 스토리지, 네트워크 등이 여기에 들어갑니다.
건물은 약 14달러, 전기 시스템이 14달러, 냉각 시스템이 약 7달러입니다.
물론 실제 비중은 데이터센터마다 달라질 수 있습니다.
AI 수요가 데이터센터 CAPEX로
그렇다면 왜 이렇게 많은 돈이 데이터센터로 들어갈까요.
여기서 먼저 클라우드 서비스와 데이터센터의 차이를 간단히 짚고 가겠습니다.
데이터센터는 실제 서버와 GPU가 들어가 있는 물리적인 시설입니다. 건물 안에 GPU와 서버를 설치하고 전력과 냉각설비를 갖춰놓은 곳입니다.
반면 클라우드는 이 데이터센터 안의 컴퓨팅 자원을 인터넷을 통해 고객에게 빌려주는 서비스입니다.
예를 들어 AWS나 마이크로소프트 애저는 고객에게 AI 컴퓨팅을 빌려주는 클라우드 서비스를 제공합니다. 그런데 이 서비스를 제공하려면 그 뒤에는 결국 GPU가 설치된 데이터센터가 있어야 합니다.
따라서 클라우드 수요가 늘어나면 더 많은 컴퓨팅이 필요하고 결국 데이터센터를 더 지어야 하는 구조입니다.
엔비디아의 이번 2분기 실적 발표에서도 이 부분이 강조됐습니다.
엔비디아 CFO 콜레트 크레스는 클라우드 업계의 백로그가 2조달러를 넘어섰다고 설명했습니다.
백로그는 쉽게 말해 클라우드 회사들이 이미 계약했지만 앞으로 고객에게 제공해야 할 서비스 물량입니다.
그만큼 앞으로 필요한 컴퓨팅이 많다는 의미입니다.
결국 AI 고객 수요가 늘어나면서 클라우드 업체들이 앞으로 제공해야 할 서비스 물량인 백로그가 쌓이고 있습니다. 이를 처리하려면 더 많은 컴퓨팅 자원이 필요합니다.
클라우드 업체들은 데이터센터를 증설해야 하고, 이 과정에서 대규모 CAPEX가 집행되면서 GPU와 서버뿐 아니라 네트워크와 전력, 냉각 설비에 대한 수요도 함께 증가하게 됩니다.
데이터센터 전력 소비량 급증
이제 데이터센터가 얼마나 많은 전기를 사용하게 될지도 보겠습니다.
이 그래프는 IEA, 국제에너지기구의 공식 전망 자료입니다.
그래프의 색깔은 데이터센터가 사용하는 전력을 네 가지 장비군으로 나눈 것입니다.
맨 아래 노란색은 즉 냉각과 UPS처럼 데이터센터를 운영하기 위해 필요한 기타 인프라입니다.
그 위 청록색은 스토리지와 네트워크처럼 서버 이외의 IT 장비가 여기에 들어갑니다. 파란색은CPU 중심의 일반 서버입니다.
그리고 가장 위 하늘색이 GPU 같은 가속기가 들어간 AI 서버입니다.
여기서 가장 주목해야 할 것은 맨 위 하늘색 영역입니다. 2024년 이후부터 면적이 급격하게 커집니다. IEA는 AI 확산에 힘입어 가속 서버의 전력 소비가 2030년까지 연평균 약 30% 증가할 것으로 전망합니다.
반면 CPU 중심의 일반 서버 전력 소비 증가율은 연평균 약 9%입니다. 특히 2024년부터 2030년 사이 데이터센터 전력 소비 증가분 가운데 거의 절반이 가속 서버에서 발생할 것으로 보고 있습니다.
그래프 전체로 보면 전 세계 데이터센터 전력 소비는 2024년 약 415TWh에서 2030년 약 945TWh까지 두 배 이상 증가할 전망입니다. 미국은 이가운데 약 45~50% 차지하고 있습니다.
데이터센터 병목 6대 요인
데이터센터 건설을 막는 첫 번째 병목은 전력 확보와 전력망 연결입니다.
AI 데이터센터 하나가 수백MW에서 수GW의 전력을 요구합니다.
그런데 발전소에서 전기를 생산하는 것과 데이터센터가 그 전기를 실제 사용할 수 있는 것은 다른 문제입니다.
전력망에 연결할 여유 용량이 있어야 하고 변전소도 필요합니다.
그래서 건물 부지를 확보했는데도 전기를 공급받는 데 몇 년을 기다리는 일이 생길 수 있습니다.
두 번째는 변압기, 스위치기어, 발전기 부족입니다.
발전소에서 오는 고압 전기를 낮춰주는 변압기, 전기를 안전하게 분배하는 스위치기어, 비상 상황에 사용할 발전기와 UPS가 필요합니다.
전 세계 데이터센터 프로젝트가 동시에 늘면서 이런 장비의 주문도 몰리고 있습니다.
JLL에 따르면 미국 데이터센터 관련 장비의 평균 리드타임은 약 42주로, 2019년보다 83% 길어졌습니다.
발전기는 약 51주, 변압기와 스위치기어는 약 43주가 걸립니다.
세 번째는 송전망 건설에 너무 오랜 시간이 걸린다는 점입니다.
수GW 규모 데이터센터가 들어오면 기존 송전망만으로 감당하지 못하는 경우가 많습니다.
그러면 새로운 송전선과 변전소를 지어야 합니다.
IEA에 따르면 선진국에서 새로운 송전선 건설에는 4~8년이 걸릴 수 있습니다.
대형 전력 변압기도 확보하는 데 최대 4년까지 걸릴 수 있습니다.
그래서 업계에서는 단순한 건설 기간보다 Time to Power, 즉 실제로 언제 전력을 받아 GPU를 돌릴 수 있느냐를 중요하게 봅니다.
네 번째는 인허가와 지역 주민 반대입니다. 데이터센터는 대량의 전기와 물을 사용하기 때문에 지역 주민들이 전기료 상승이나 환경 문제를 이유로 반대할 수도 있습니다. 해당 지역 정부의 인허가도 넘어야 할 산입니다.
다섯 번째는 냉각과 전력설비 공급망 병목입니다. GPU 전력밀도가 올라가면서 칠러와 액체냉각, CDU, RDHx, 대규모 배관 시스템 등이 필요해졌습니다. GPU를 확보해도 냉각 시스템이 준비되지 않으면 가동할 수 없습니다.
여섯 번째는 숙련 인력 부족입니다. 전기기사와 변전소 전문가, 냉각 엔지니어, 배관 전문가, 데이터센터 전문 건설 인력이 필요합니다. 그런데 발전소와 송전망 건설에서도 같은 인력을 필요로 합니다. 결국 여러 프로젝트가 같은 인력과 장비를 놓고 경쟁하게 됩니다.
실제로 지연도 이미 발생하고 있습니다. JLL에 따르면 2025년 데이터센터 프로젝트의 57%가 3개월 이상 건설 지연을 겪었습니다. 일반적인 50MW 데이터센터의 글로벌 평균 건설기간은 약 18개월이고, 일부 핵심 장비는 최대 24개월 전에 미리 주문하기도 합니다.
데이터센터 지연 시 6대 리스크
이런 병목 때문에 데이터센터가 계획보다 늦게 완공되면 단순한 일정 문제가 아닙니다.
첫 번째는 매출 발생 지연입니다.
데이터센터가 가동돼야 GPU를 돌리고 AI 학습·추론 서비스를 판매할 수 있습니다. 카네기재단에 따르면 100MW 블랙웰 데이터센터가 정상적으로 가동되면 월 약 2억달러의 총매출을 창출할 수 있다고 가정합니다. 가동이 몇 달 늦어지면 그만큼 매출 기회도 뒤로 밀립니다.
두 번째는 데이터센터의 경제적 가치 하락입니다. 앞으로 벌어들일 현금흐름의 현재가치가 줄어든다는 의미입니다. 카네기재단의 모델에서는 100MW 미국 AI 데이터센터가 6개월 지연되면 약 3억5300만달러, 1년 지연되면 약 5억4300만달러, 18개월 지연되면 약 8억7700만달러의 생애주기 가치가 감소하는 것으로 계산합니다. 18개월 지연은 약 8.9%의 가치 감소에 해당합니다.
세 번째는 GPU의 경제적 수명 손실입니다. AI GPU는 세대교체가 매우 빠릅니다. 오늘 최신 GPU를 주문했는데 데이터센터가 1년 이상 늦어지면 그 사이 다음 세대 GPU가 나올 수 있습니다. 기존 GPU가 고장 난 것은 아니지만 상대적인 성능과 수익성이 떨어질 수 있습니다. 즉 비싼 GPU를 가장 돈을 잘 벌 수 있는 초기에 충분히 활용하지 못하는 위험입니다.
네 번째는 건설비와 금융비용 상승입니다. 공사가 늦어져도 인건비와 자재비, 관리비는 계속 들어갑니다. 대출을 받아 지었다면 매출은 아직 발생하지 않는데 이자는 계속 쌓입니다. 즉 매출은 뒤로 밀리고 비용은 계속 증가하는 구조입니다.
다섯 번째는 고객 계약과 신뢰 문제입니다. 특히 코어위브 같은 네오클라우드나 외부 고객에게 GPU 컴퓨팅을 제공하는 사업자는 약속한 시점에 용량을 제공하지 못하면 문제가 커집니다. 매출 손실뿐 아니라 계약상 페널티와 고객 이탈, 평판 훼손까지 발생할 수 있습니다.
여섯 번째는 투자 회수와 부채 부담 악화입니다. 데이터센터는 먼저 수십억달러를 투자하고 이후 현금흐름을 회수하는 사업입니다. 가동 시점이 늦어지면 현금 유입은 늦어지는데 이자와 고정비는 계속 발생합니다. 결국 ROI가 낮아지고 유동성과 신용도에도 부담이 생길 수 있습니다.
뉴욕=박신영 특파원 nyusos@hankyung.com