화려한 인공지능 뒤에는 수억 개의 회로가 뛰고 있다. 사람의 생각과 감정, 일상의 편리함이 이 작은 반도체 위에서 현실이 된다. 그리고 지금 그 보이지 않는 칩 하나가 새로운 산업의 미래와 인류의 가능성을 열어가고 있다.

AI의 두뇌가 알고리즘이라면, 몸은 하드웨어다. 인공지능 하드웨어 칩셋은 연산 칩^{GPU·NPU·ASIC}, 고대역폭 메모리^HBM, 고속 인터커넥트, 첨단 패키징 기술, 그리고 이를 구동하는 소프트웨어 스택까지 하나로 얽힌 유기적 시스템이다. 같은 알고리즘이라도 어떤 칩 위에서 실행되느냐에 따라 속도·전력·비용이 달라진다. 코드는 쉽게 고칠 수 있지만, 하드웨어의 물리적 제약은 하루아침에 바꿀 수 없다. 그래서 칩셋은 AI 경쟁력의 근본이자, 국가의 전략자산이다. 어떤 칩을 선택하느냐가 ‘얼마나 빠르고, 싸게, 대규모로’ 인공지능을 돌릴 수 있는지를 결정한다.

GPU의 제국과 보이지 않는 병목

현재 AI 칩셋 시장의 중심에는 단연 GPU가 있다. 대규모 언어 모델^LLM 학습의 표준으로 자리 잡은 GPU는 수천 개의 연산 코어를 병렬로 구동해 기존 CPU보다 10배에서 많게는 수백 배 빠른 속도로 데이터를 처리한다. 이 압도적 성능 덕분에 GPU는 인공지능의 ‘두뇌 가속기’로 불리며, AI 산업의 속도를 결정짓는 핵심 동력으로 떠올랐다.

엔비디아는 이 시장을 사실상 독점하고 있다. 뛰어난 칩만이 아니라 CUDA 플랫폼, 라이브러리, 분산학습 장치, 소프트웨어 툴체인까지 통합해 하드웨어와 소프트웨어를 아우르는 거대한 생태계를 만들었다. 이로 인해 기업과 연구자들은 자연스럽게 엔비디아 생태계에 묶이는 ‘락인^lock-in’ 구조에 놓였고, 현재 AI GPU 시장점유율은 약 90%에 달한다. 

하지만 GPU만 빠르다고 모든 게 해결되진 않는다. AI 학습은 수백, 수천 개의 칩이 동시에 작동하는 초대형 병렬 구조로 이뤄져 있다. 아무리 뛰어난 칩이라도 데이터를 주고받는 과정에서 병목이 생기면 전체 속도가 급격히 떨어진다. 이 병목을 해결하는 핵심이 바로 첨단 패키징 기술과 고대역폭 메모리다. 칩을 더 가깝고 효율적으로 연결하는 기술이 AI 서버의 성능을 결정한다.

미국 워싱턴주 퀸시에 자리한 마이크로소프트 데이터센터의 AI 서버 랙. AI 칩셋이 데이터센터에서 어떻게 집단적으로 구동되는지를 시각적으로 보여준다. ©Microsoft

이 가운데 TSMC는 첨단 패키징 기술 ‘CoWoS^{Chip on Wafer on Substrate}’를 통해 엔비디아 GPU 생산에 절대적 영향력을 행사한다. 여러 칩을 한 기판 위에 적층해 하나의 거대한 칩처럼 작동하게 하는 기술로, 고성능 연산에 최적화돼 있다. TSMC는 CoWoS-S·CoWoS-L 등 다양한 공정으로 엔비디아·AMD·브로드컴 등의 수요를 감당하고 있다. 2025년 기준 월 7만~8만 장으로 증산 중이지만, 폭발적 수요를 따라가기엔 여전히 부족하다. GPU 출하가 지연되고 확보 물량이 프리미엄 가격에 거래되는 이유다.

인텔과 삼성전자가 추격하고 있지만, TSMC의 우위는 여전히 견고하다. 결국 AI 칩셋 경쟁의 무게중심은 순수한 연산력보다 칩 간 연결 효율, 패키징 정밀도, 공급망 안정성으로 옮겨가고 있다. GPU의 제국은 막강하지만, 그 속엔 여전히 ‘병목’이라는 약점이 숨어 있다.

메모리 전쟁과 빅테크의 반격

AI 시대의 또 다른 심장은 HBM^{High Bandwidth Memory}이다. AI 연산의 본질은 데이터를 얼마나 빠르게 불러오고 처리 하느냐에 달려 있다. HBM은 기존 메모리보다 수십 배 빠른 속도로 데이터를 주고받아 병목을 해소하고, 연산 효율과 전력 효율을 동시에 높인다. 여러 개의 메모리 다이^{실리콘 칩 조각}를 수직으로 적층해 대역폭을 극대화하기 때문에 속도는 비약적으로 늘고, 전력은 오히려 줄어든다.

현재 SK하이닉스가 HBM 시장의 절대 강자다. HBM3E를 앞세워 엔비디아 AI GPU 대부분에 메모리를 공급하며, 품질과 안정성 면에서 사실상 독점적 지위를 확보했다. 2025년 2분기 기준 출하 비중은 SK하이닉스 62%, 마이크론 21%, 삼성전자 17%다. 특히 마이크론은 불과 1년 만에 5%에서 20%대로 뛰어올라 존재감을 키웠다. 삼성전자 역시 발열·수율 개선을 앞세운 HBM3E로 엔비디아 인증을 획득하며 추격에 나섰다.

SK하이닉스가 개발한 HBM3 메모리 반도체. AI 칩셋의 병목을 해소하는 초고속 메모리로, 글로벌 GPU 시장의 핵심 부품으로 주목받고 있다. ©SK hynix

세 기업이 주도하는 3국 구도는 메모리 경쟁을 넘어 국가 기술력의 상징이 되었다. 문제는 GPU·HBM·패키징 기술이 소수 기업에 집중되어 있다는 점이다. AI 서버의 핵심 부품이 몇몇 업체에 의존하면서 수급 불안이 곧 시장 불안으로 이어지고 있다. 실제로 HBM 가격은 1년 새 40~50% 급등해 클라우드 기업들의 비용 부담을 키웠다. 이에 빅테크 기업들은 직접 칩 설계에 나서고 있다. 외부 공급망에만 의존하면 비용과 품질, 일정 모두를 통제하기 어렵기 때문이다.

구글은 2016년부터 자체 AI 칩 TPU^{Tensor Processing Unit}를 개발해 현재 TPU v5p까지 진화시켰고, 구글 클라우드·제미니^Gemini·딥마인드^DeepMind와 결합해 AI 학습 효율을 높였다. 아마존은 학습용 AI 칩 트레이니엄^Trainium과 추론용 AI칩 인퍼렌시아^Inferentia를 설계해 GPU 대비 비용 효율을 개선했다. 빅테크의 이런 행보는 AI 서비스의 속도·규모·경제성을 지배하기 위한 새로운 칩 전쟁의 서막이다.

기술 경쟁에서 지정학 경쟁으로

AI 칩셋은 이제 산업을 넘어 국가 전략의 무대로 옮겨 갔다. 반도체가 21세기의 석유였다면, 인공지능 칩셋은 기술력과 안보 그리고 산업 경쟁력을 좌우하는 새로운 인프라다. 미국은 이를 가장 먼저 인식했다. 반도체 지원법^{CHIPS and Science Act}을 통해 보조금·세제 혜택·수출 통제를 결합하며 자국 내 생산 기반을 강화하고 있다. 2024년에는 TSMC^애리조나·삼성전자^텍사스·인텔이 수십억 달러 규모의 지원을 받았다. 이는 일회적 지원이 아니라, 첨단 패키징과 연산 칩 생산을 본토로 끌어들여 경쟁국의 기술 접근을 늦추려는 전략적 조치다.

이에 맞서 중국은 ‘반도체 자립’을 국가 전략으로 내세웠다. 수출 규제 속에서 화웨이·SMIC를 중심으로 자체칩 개발과 공정 국산화를 가속화하고, 자국산 AI 칩 사용을 의무화하며 엔비디아 GPU 수입을 제한하고 있다. 격차는 여전하지만, 내수 시장을 기반으로 GPU·HBM·장비의 ‘중국형 생태계’를 구축하는 중이다. 

유럽과 일본은 연산 칩 경쟁 대신 소재·장비·패키징 등 틈새 영역에 집중한다. 일본은 도쿄일렉트론, 유럽은 ASML을 중심으로 기술 생태계의 게이트키퍼 역할을 맡고 있다. 한국과 대만은 동맹 안에서 보조금과 수주를 두고 경쟁하면서도 공급망 리스크를 함께 감당해야 하는 미묘한 균형에 서 있다.

앞으로도 엔비디아의 독주는 당분간 이어질 가능성이 높다. CUDA 생태계와 엔비링크NVLink, 인피니밴드Infiniband 같은 네트워크 기술이 강력한 락인 효과를 만들고 있기 때문이다. 그러나 GPU의 제국에도 균열은 있다. HBM과 첨단 패키징에서는 3강 체제가 서서히 굳어지고 있다. SK하이닉스·삼성전자·마이크론이 기술 경쟁을 이어가고 있고, TSMC의 CoWoS 독점에 맞서 인텔과 삼성전자가 대체 공정을 강화하고 있다.

결국 AI 칩셋 패권 경쟁은 한 기업의 기술 싸움을 넘어 국가와 산업이 맞물린 거대한 지정학 게임으로 번지고 있다. AI의 심장은 더 작고, 더 빠르고, 더 뜨겁게 진화하는 중이다. 그리고 그 박동은 이제 기술이 아닌, 전략의 리듬으로 뛰고 있다.

글. 정유신(서강대학교 경영학과 교수)