인공지능 기술의 심장, AI 반도체

지난 6월 18일, 미국 반도체 기업 엔비디아가 세계에서 몸값이 가장 비싼 기업이 됐다. 이날 미국 뉴욕 증시에서 엔비디아 주가는 전날보다 3.51% 오른 135.58 달러를 기록하며 시가총액 3조3350억 달러(약 4641조원)를 달성했다. 이전까지 세계 1위였던 마이크로소프트(MS)와 애플을 모두 제치고 반도체 기업이 세계 최정상에 우뚝 선 것이다. 지금은 이익 실현 매물이 쏟아지면서 주가가 소폭 떨어졌지만 7월 2일 현재 여전히 시총 3조578억 달러로 3조원대를 유지하고 있다.

엔비디아의 몸값이 천정부지로 치솟은 가장 큰 이유는 바로 인공지능(AI) 덕분이다. 엔비디아는 전 세계 AI 반도체의 80% 이상을 장악하고 있다. 업계에 따르면 올해 엔비디아는 AI 반도체 시장점유율 94%를 차지할 전망이다. AI가 각광받기 전까지 엔비디아는 시가총액 1조 달러를 넘지 못했다. 엔비디아는 AI 열풍이 불고 나서 지난해 6월 시총 1조 달러를 넘어섰다. 그러던 것이 9개월 만인 올해 3월 시총 2조 달러에 이르렀고, 다시 석 달 만에 시총 3조 달러의 신화를 썼다. 그야말로 드라마틱한 상승이다.

AI의 두뇌이자 심장, AI 반도체란?

AI 반도체가 무엇이기에 이토록 엔비디아의 몸값을 극적으로 끌어올렸을까. AI 반도체는 한마디로 소프트웨어인 AI가 가장 잘 작동하도록 특별하게 제작된 반도체다. 따라서 AI 작동을 위해 필요한 대규모 연산을 아주 빠르게 실행하는 것이 특징이다. 한마디로 AI의 두뇌이자 심장이라 할 수 있다.

그렇다면 컴퓨터에서 두뇌 역할을 하는 반도체인 중앙처리장치(CPU)와 어떻게 다를까. CPU와 AI 반도체의 가장 큰 차이는 데이터 처리 방식이다. CPU는 데이터를 차례로 직렬 처리한다. 즉 이용자가 어떤 일을 하기 위해 소프트웨어를 실행하면 해당 소프트웨어에서 입력하는 자료를 차례로 실행한다.

반면 AI 반도체는 한꺼번에 여러 개의 데이터를 병렬 처리한다. 데이터가 드나드는 문에 해당하는 게이트웨이가 여러 개여서 데이터를 차례로 하나씩 순차 처리하는 CPU와 달리 동시에 여러 개의 데이터를 처리할 수 있다. 그만큼 속도가 빠르다. AI에서 속도는 대단히 중요하다. 빠르게 답을 내놓아야 하기 때문이다.

 원래 AI 반도체의 출발은 그래픽처리장치(GPU)였다. 컴퓨터를 열어보면 내부에 CPU와 함께 기다란 카드가 주기판에 꽂혀 있는데, 컴퓨터 화면에 보이는 그림만 따로 처리하는 그래픽카드다. 그래픽카드 한복판에 꽂혀 있는 반도체가 바로 GPU다. GPU는 동영상, 게임 등 그림을 화면에 실시간으로 보여주려면 빠르게 데이터를 처리해야 한다. 그렇다 보니 병렬 데이터 처리와 빠른 속도에 초점을 맞춰 반도체를 설계한다.

엔비디아의 출발점이 GPU다. 원래 그래픽카드 분야에서 유명한 미국 업체 AMD와 쌍벽을 이루던 업체다. 그러다가 CPU와 GPU를 합쳐서 AI 반도체를 만들었다. CPU와 GPU를 여러 개 꽂으면 AI 반도체의 역할을 하겠지만 대신 비용이 많이 든다. 그래서 아예 AI 처리에 초점을 맞춰 두 가지 기능을 합친 AI 반도체를 만든 것이다. 업계에서는 AI 반도체를 통상 신경망처리장치(NPU)라고 부른다. AI 반도체의 구조가 사람의 뇌에 존재하는 신경세포인 뉴런과 뉴런 사이에서 신호를 주고받는 시냅스를 흉내 냈기 때문이다.

CPU와 다른 AI 반도체의 특징 중 하나는 각 분야별로 특화할 수 있다는 점이다. CPU는 그냥 컴퓨터에 꽂는 반도체 하나지만 AI는 이용하려는 분야에 따라 핀테크(금융 기술)용, 클라우드용 등 특화해 개발할 수 있다. 각각의 산업 특징에 최적화되도록 설계할 수 있다는 뜻이다.

전 세계 기업에서 뛰어든 AI 반도체 개발

많은 기업이 AI 반도체 설계에 뛰어들고 있다. 대표적으로 엔비디아를 비롯해 인텔, AMD, 퀄컴 등 전통적 반도체업체가 있고 구글, 애플, 아마존, 메타, 테슬라 등 다른 분야 기업까지 AI 반도체 개발에 뛰어들었다. 최근 삼성전자에서 마이크로소프트(MS)와 손잡고 내놓은 AI 컴퓨터 ‘코파일럿+PC’에 들어가는 AI 반도체는 퀄컴에서 만든 스냅드래곤이다. 구글과 메타는 각각 ‘TPU v5p’와 ‘MSVP’, ‘MTIA’라는 이름의 AI 반도체를 개발했다. 또 테슬라는 자율주행 자동체에 필요한 AI 반도체를, 아마존은 데이터센터에 필요한 클라우드용 AI 반도체를 개발하고 있다.

국내에서도 AI 반도체 개발에 적극 나서고 있다. SK텔레콤은 내부 사업팀을 분사해 만든 사피온을 통해 AI 반도체 ‘사피온 X220’을 개발했다. IBM 등에서 반도체를 개발하던 전문가들이 모여 창업한 스타트업 리벨리온과 금융권과 클라우드 데이터센터에 특화한 AI 반도체를 내놓았다.

이처럼 수많은 기업이 AI 반도체를 만들다 보니 관련 시장이 급속도로 커질 전망이다. 미국 시장조사업체 가트너는 AI 반도체가 2030년 전체 시스템 반도체 시장에서 31%를 차지할 것으로 내다봤다. 가트너에 따르면 지난해 AI 반도체 시장 규모는 약 343억 달러(약 48조원)다.

물량 부족 사태 빚는 AI 반도체

이 가운데 눈에 띄는 것은 AI 기업 오픈AI다. AI의 대명사로 통하는 ‘GPT’를 만든 오픈AI도 AI 반도체 개발에 뛰어들었다. 오픈AI는 앞으로 7조 달러(약 9700조원)라는 천문학적 비용을 투자, AI 반도체 회사를 따로 설립해 AI 반도체를 개발하겠다는 계획을 발표했다. 이를 위해 오픈AI는 삼성전자, SK하이닉스, 대만 TSMC, 미국 인텔 등 전 세계 반도체 기업을 만나고 있다. 반도체를 설계할 수는 있지만 생산시설이 없다 보니 반도체 제조업체들과 협력이 필요하기 때문이다.

오픈AI의 행보는 전 세계 많은 기업이 AI 반도체 개발에 뛰어들고 있는 까닭을 잘 설명해 준다. 오픈AI가 AI 반도체 개발에 직접 뛰어든 가장 큰 이유는 AI 반도체가 부족하기 때문이다. 특히 엔비디아의 AI 반도체가 부족하다. 세계적으로 AI 반도체 열풍이 불면서 미처 엔비디아의 생산량이 따라가지 못할 만큼 AI 반도체 수요가 폭증했다. 메타 한 군데에서만 지난해 약 15조원을 들여 엔비디아에 주문한 AI 반도체 주문량이 35만 개다. 엔비디아가 연간 생산할 수 있는 AI 반도체 수량이 55만 개인데 메타에서만 절반 이상을 주문한 것이다. 테슬라도 올해 엔비디아에 주문하는 AI 반도체를 기존 3만5000개에서 8만5000개로 늘렸다.

그러다 보니 지금 엔비디아에 AI 반도체를 주문하면 2~3년은 족히 기다려야 할 정도로 주문이 밀려 있다. 오픈 AI의 샘 알트먼 최고경영자(CEO)도 “AI 반도체가 충분하지 않다”며 물량 부족을 호소해 왔다.

이런 상황이니 엔비디아의 AI 반도체 가격은 좀처럼 떨어지지 않고 고공행진을 하고 있다. 엔비디아 주가가 오르게 된 이유이기도 하다. 그래서 견디다 못한 기업들이 각자 서비스에 필요한 AI 반도체 개발에 뛰어들었다.

엔비디아의 인기 비결은?

그렇다면 엔비디아의 AI 반도체가 인기를 끈 이유는 무엇일까. 엔비디아 이전에도 IBM 등에서 AI 반도체를 만들었다. 그런데도 엔비디아가 이들 기업을 제칠 수 있었던 특별한 까닭이 있다.

엔비디아의 경쟁력은 반도체와 소프트웨어의 결합이다. 엔비디아는 AI 반도체를 판매할 때 AI 반도체를 활용할 수 있는 소프트웨어를 함께 묶어 판매한다. 그 소프트웨어 이름이 ‘쿠다’다. 쉽게 말해 컴퓨터를 사면 이를 구동할 수 있는 운용체제 ‘윈도우’를 함께 판매하는 식이다. 윈도우가 없으면 컴퓨터를 작동할 수 없는 것처럼 AI 반도체도 마찬가지다. AI 반도체를 구동할 수 있는 소프트웨어, 즉 쿠다가 필요하다.

엔비디아의 대표 AI 반도체는 2022년 출시된 ‘H100’이다. 정확히 말하면 반도체가 꽂혀 있는 카드 이름이지만 이해하기 편하도록 AI 반도체로 표현한다. H100은 엔비디아의 이전 AI 반도체인 ‘A100’보다 응답 속도가 30배 빠르다. 따라서 많은 질문에 빠르게 대답해야 하는 대규모언어모델(LLM) 같은 AI에 적합하다.

엔비디아는 H100과 함께 쿠다를 묶어 판매한다. 쿠다는 단순한 소프트웨어가 아니라 AI를 개발할 수 있는 일종의 도구다. 즉 H100의 성능이 최대한 발휘되도록 하려면 쿠다를 이용해 AI를 개발해야 한다.

그 바람에 개발자들은 H100에 함께 제공되는 쿠다를 통해 AI를 개발하는 데 익숙하다. 이는 무서운 일이다. 사람들은 익숙한 것에서 쉽게 벗어나지 않으려 하기 때문이다. 그러다 보니 다른 AI 반도체업체들이 아무리 뛰어난 AI 반도체와 소프트웨어를 내놓아도 개발자들이 쉽게 사용하려 들지 않는다. 그만큼 쿠다에 익숙해져 있다. 요즘처럼 AI 경쟁이 치열한 시기에 손에 익은 도구를 버리고 새로운 도구를 배워 사용하는 것은 모험이 된다. 시간도 시간이지만 새로운 도구로 개발한 AI가 최적의 성능을 발휘한다는 보장이 없다. 개발자들이 엔비디아의 AI 반도체와 쿠다를 떠나지 못하는 이유다.

그렇게 엔비디아는 H100과 쿠다를 묶어 소위 엔비디아 생태계를 형성한다. H100은 시장에 나온 지 2년 된 반도체지만 여전히 막강한 영향력을 발휘한다. 엔비디아는 메모리 용량 등을 늘인 H200을 올해 새로 선보였지만 여전히 기업들은 H100을 선호한다. H200이 비싼 것도 이유이지만 H100이 익숙하기 때문이다. 또 H100은 여러 AI 서비스에 사용되면서 성능과 안정성을 인정받았다. 이미 검증을 거친 AI 반도체라는 뜻이다.

그만큼 다른 반도체업체들로서는 엔비디아의 아성을 깨기가 쉽지 않을 수 있다. 사실 발표된 사양만으로는 다른 반도체업체들의 AI 반도체가 엔비디아의 것보다 성능이 우수할 수 있다. 인텔이 지난 4월 발표한 AI 반도체 ‘가우디 3’는 H100보다 추론 성능 50%, 전력 효율 40%가 우수한 것으로 나타났다. AMD의 AI 반도체 ‘MI300X’도 H100보다 메모리 용량이 더 크면서 가격은 저렴하다. 이를 의식한 듯 엔비디아는 성능을 강화한 AI 반도체 ‘B200’을 하반기에 출시할 계획이다.

엔비디아 덕분에 주목받는 한국 기업

덕분에 삼성전자, SK하이닉스 등 메모리 반도체를 만드는 우리 기업들도 주목받고 있다. AI 반도체는 많은 데이터를 처리해야 해서 빠른 속도로 데이터 입출력이 가능한 대용량 메모리 반도체가 필요하다. 여기 필요한 것이 바로 삼성전자와 SK하이닉스에서 판매하는 고대역폭 메모리(HBM)다. HBM은 회로를 층층이 쌓아 올려 공간을 적게 차지하면서도 많은 데이터를 빠르게 처리할 수 있다. 엔비디아의 AI반도체에도 SK하이닉스의 HBM이 들어간다. 삼성전자도 엔비디아의 AI 반도체에 HBM을 제공하기 위한 실증 시험을 진행하고 있다. 아직까지 HBM을 대규모로 양산하는 기업은 삼성전자와 SK하이닉스뿐이다. 그래서 엔비디아 이외 다른 AI 반도체를 개발하는 기업도 삼성전자, SK하이닉스의 협력이 절실한 상황이다. 앞으로 AI 반도체가 확산되면 국내 메모리 반도체업체들이 반사이익을 볼 수 있다.

이에 따라 AI 반도체 경쟁은 더욱 치열해질 전망이다. 가트너는 올해 전 세계 AI 반도체 매출이 지난해보다 33% 증가한 710억 달러(약 99조원)에 이를 것으로 전망했다. 특히 가트너는 기업에서 AI 컴퓨터를 많이 구매할 것으로 봤다.

가트너에 따르면 올해 AI 컴퓨터는 전체 컴퓨터 판매 물량 가운데 22%를 차지할 전망이며, 2026년이면 기업에서 구매하는 컴퓨터는 모두 AI 컴퓨터가 될 것으로 예상했다. AI 컴퓨터는 AI 반도체, 즉 NPU를 장착해 전력 소모나 발열량이 적으면서 더 많은 일을 처리할 것으로 예상된다.

이처럼 AI 반도체와 AI 컴퓨터의 수요를 폭발적으로 끌어올리는 동력은 GPT나 구글의 ‘제미나이’, MS의 ‘코파일럿’, ‘클로드’ 같은 생성형 AI다. AI 반도체는 컴퓨터뿐 아니라 다양한 전자제품에도 들어가게 된다. 올해 자동차 분야에서도 71억 달러 규모의 AI 반도체가 판매되고 가전제품 분야에서도 18억 달러 규모의 AI 반도체가 팔릴 전망이다. 가트너의 앨런 프리스틀리 분석가는 “생성형 AI가 고성능 AI 반도체 수요를 촉발하고 있다”라며 “AI 반도체의 가치는 올해 총 210억 달러에서 2년 내 330억 달러로 증가할 것”이라고 강조했다.