엔비디아는 비디오게임용 반도체로 생산됐던 GPU를 새로운 용도에 적용하면서 AI 반도체 시장을 석권했다. 그런 엔비디아를 향해 이제 갓 8년 된 작은 스타트업 그로크가 도전장을 내밀었다. AI 목적에 맞춤화한 반도체로 무장한 그로크는 세계에서 가장 가치가 높은 기업으로 꼽히는 엔비디아에 맞서려 한다.

▎로스는 “공감하며 이해한다”는 뜻을 가진 화성인의 언어 ‘그로크’를 회사 이름으로 선택했다. 공상과학 소설 『낯선 땅 이방인(Stranger in a Strange Land)』에 나온 표현이다. 일론 머스크도 이 단어가 마음에 들었는지 자신의 AI 챗봇을 그로크(Grok)라고 이름 지었다. 로스는 “사실 우리가 먼저예요”라고 말했다. / 사진:PHOTOGRAPH BY CODY PICKENS FOR FORBES

지난 2월 오슬로에서 노르웨이 국회의원과 기술기업 중역들에게 자사 반도체 기능을 시연하던 AI 반도체 스타트업 그로크(Groq)의 조너선 로스(Jonathan Ross, 42) CEO는 불현듯 무언가 잘못 돌아가고 있다는 느낌을 받았다. 당시 회사는 상황이 좋지 않았고, 로스는 사람이 글을 읽는 속도보다 훨씬 빠르게 질문에 대답하는 AI 챗봇을 시연하며 활로를 모색하던 중이었다. 그런데 챗봇의 대답 속도가 조금씩 느려지고 있었다. 그로크 반도체 기반 유럽 데이터센터를 통해 구현되는 초고속 대화형 AI를 한창 피력하고 있었는데, 속도가 느려지니 불안해질 수밖에 없었다. “계속 숫자를 확인하기 시작했습니다.” 그가 당시를 회상하며 말했다. “사람들은 제가 왜 갑자기 다른 곳에 정신을 팔기 시작했는지 알지 못했죠.”

속도가 느려진 건 급작스레 증가한 신규 이용자 때문이었다. 로스가 오슬로에서 회의를 진행하기 전날, 한 기술기업 창업자가 “번개처럼 빠른 AI”라고 올린 트윗이 바이럴을 타면서 온라인 데모로 엄청난 트래픽이 몰렸고, 그 결과 회사 서버가 느려진 것이다. 문제긴 했지만, 기업 입장에서는 자랑스러운 일이었다.

8년 전 그로크를 공동 창업했을 때 로스는 업계에서 ‘추론’이라 부르는 용도를 가진 AI 반도체를 설계하려 했다. 인간의 추론 능력을 흉내 내서 학습한 내용을 새로운 상황에 응용하는 AI용 반도체다. 스마트폰이 처음 본 사진 속 반려견 품종을 웰시코기로 알아보고 분류하거나 이미지 생성 AI가 발렌시아가 코트를 입은 프란치스코 교황의 그림을 완성할 수 있는 것도 다 이런 추론 능력 덕분이다. 추론용 AI는 많은 연산자원을 소모하며 처음부터 학습시켜야 하는 대규모 AI 모델과 구분된다.

오픈AI가 2022년 말 챗GPT를 공개하며 전 세계에 AI 열풍을 몰고 오기 전까지만 해도 초고속 추론을 위한 AI 반도체 수요는 한정되어 있었다. 그래서 그로크는 힘겹게 목숨을 연장할 수밖에 없었다. “그로크가 고사 직전까지 내몰린 적이 정말 많았다”고 캘리포니아주 새너제이에 있는 그로크 반도체 연구소에서 로스가 말했다. 그는 “2019년에는 운영비가 딱 한 달 치만 남았을 때도 있었다”고 말했다. “저희가 시기적으로 시장보다 앞서 나갔던 거죠.”

그러나 이제는 AI 모델을 구축하고 구동하기 위한 컴퓨터 연산자원 수요가 너무나 높아져서 전 세계적으로 전력난을 초래할 정도다. 바야흐로 때가 찾아온 것이다. 그로크가 시장의 주목을 받거나 레거시 반도체 기업의 인수 대상이 될 가능성도 높아졌다. 수요 자체가 순식간에 급증하면서 엔비디아는 2023년에 매출 609억 달러 대비 시가총액이 3조 달러까지 치솟았다. 반면, 그로크의 재정 상황을 잘 알고 있는 소식통에 따르면 그로크의 매출은 200만 달러밖에 되지 않아 엔비디아와 비교하면 신생아에 불과하다. 그러나 그로크 AI 반도체에 관심이 크게 치솟고 있기 때문에 올해 매출은 1억 달러로 낙관하고 있다고 소식통들은 전했다. “컴퓨팅 파워는 새 시대의 석유와 같죠.” 로스의 말이다.

올해 포브스가 발표한 제9차 클라우드 100대 기업 목록에 오른 AI 기업은 총 16개다. 지난해만 해도 AI 기업은 순위에 8개밖에 없었고, 불과 5년 전에는 단 한 개도 없었다. AI 반도체 시장이 2027년까지 1조1000억 달러 규모로 성장할 것이라 예상되는 만큼, 추론 능력에 집중한다면 엔비디아가 현재 가지고 있는 80%라는 어마어마한 점유율 중 그로크가 작은 한 조각이라도 가져올 수 있을 것이라고 로스는 생각한다. 시장조사기관 IDC는 올해 AI 반도체 시장의 가치는 390억 달러로 추산되며, 4년 후에는 607억 달러로 불어날 전망이라고 밝혔다.

엔비디아의 반도체칩이 원래는 AI용으로 설계된 것이 아니라는 점에서 그로크와 같은 도전자들은 기회가 있다고 믿는다. 젠슨 황 CEO가 처음 그래픽처리장치(GPU)를 선보인 1999년만 해도 이들 반도체는 그래픽처리 능력이 높아야 하는 비디오게임용으로 설계됐었다. GPU가 AI 훈련에 최적이란 사실은 우연히 발견됐을 뿐이다. 그로크뿐 아니라 세레브라(Cerebras, 기업가치 40억 달러)와 삼바노바(SambaNova, 기업가치 51억 달러)를 비롯한 차세대 반도체 스타트업은 바로 여기에 주목해 기회를 찾고 있다. 세레브라의 앤드루 펠드먼 CEO는 “처음부터 GPU를 AI에 쓰려고 개발한 회사는 없다”고 말했다.

엔비디아를 왕좌에서 밀어내려고 호시탐탐 엿보는 건 스타트업뿐만이 아니다. 아마존과 마이크로소프트도 자체적으로 AI 반도체를 개발하기 위해 노력 중이다. 그러나 추진력을 받고 있는 건 속도가 비교할 수 없을 정도로 빠른 그로크의 언어처리장치(LPU)다. 2024년 투자자 대상 자료에서 그로크는 자사 LPU가 추론용으로 사용될 경우 엔비디아 GPU 대비 처리 속도가 4배 빠른 한편, 가격은 5분의 1로 저렴하고 에너지 효율성은 3배나 높다고 주장한다. 지금 그로크는 블랙록이 주관하는 3억5000만 달러 규모의 시리즈 D 투자 라운드를 진행 중이다. 이번에 추산된 그로크의 기업가치는 20억 달러가 넘는다고 투자 라운드에 대해 잘 알고 있는 정보통이 말했다.

“그로크의 추론 속도는 시중에 나온 어떤 반도체보다 확실히 체감될 정도로 빠르다”고 그로크 투자 라운드에 수차례 투자했던 제너럴 글로벌 캐피털(General Global Capital)의 공동 창업자 애미시 샤가 말했다.

2년 전부터 반도체 판매를 시작한 그로크는 이후 맨해튼 프로젝트에서 시작된 연방 연구기관 아르곤 국립연구소(Argonne National Laboratory) 등을 신규 고객으로 확보했다. 아르곤 연구소는 태양에너지를 만들어내는 핵융합을 그로크 반도체를 통해 연구하고 있다. 사우디아라비아 석유기업 기술 사업부 아람코 디지털(Aramco Digital)도 그로크 반도체를 이용하기 위한 기술제휴계약을 체결했다.

3월에 그로크는 개발자들이 그로크 반도체를 매입하지 않고도 접근권을 대여해 이용할 수 있는 그로크클라우드(GroqCloud)를 도입했다. 그로크는 개발자들을 끌어모으기 위해서 이를 무료로 제공했고, 그 결과 첫 달에만 7만 명이 서비스를 신청했다. 지금은 이 수가 28만 명까지 늘어났으며, 지금도 계속 증가하는 추세다. 6월 30일부터 유료 서비스를 도입한 회사는 인텔 중역이었던 스튜어트 팬을 회사 COO로 기용해 매출과 운영을 확장하는 중이다. 팬 COO는 유료 서비스로 전환해서 더 많은 컴퓨팅 파워를 쓰겠다는 요청이 그로크 클라우드 고객 티켓의 40%를 차지한다는 점을 근거로 들어 회사의 미래를 낙관했다.

▎ 사진:BETTMANN/GETTY IMAGES

“그로크 반도체는 정말 가려운 곳을 긁어줍니다.” 메타의 최고 과학자 얀 르쿤이 말했다. 뉴욕대학교 컴퓨터과학 교수인 르쿤은 로스의 지도교수였고, 최근에는 그로크의 기술 고문으로 합류했다. 졸업 후 구글에서 일을 시작한 로스는 기계학습에 최적화된 반도체 텐서 처리장치 개발팀에서 일했다. 2016년 구글을 퇴사한 그는 구글에서 함께 일했던 엔지니어 더그 와이트먼과 그로크를 창업했고, 와이트먼은 그로크의 1대 CEO를 역임했다. 같은 해 그로크는 창업투자펀드 소셜캐피털에서 주관하는 투자 라운드에서 1000만 달러를 모집했다. 그러나 이후부터는 신규 투자자를 확보하는 데 어려움을 겪었다. 와이트먼은 수년 뒤 회사를 떠났고, 포브스의 인터뷰 요청에도 응답하지 않았다.

아직 비관론자들은 있다. 얼마 뒤 진행될 그로크의 투자금 모집 라운드에 참여하지 않기로 결정한 한 창업 투자사는 그로크의 접근방식이 “새롭긴 하다”고 표현하면서도 장기적으로 봤을 때 지식재산권을 방어하기가 쉽지 않을 것이라 말했다. 15억 달러 규모의 AI 인프라 기업 람다랩스(Lambda Labs)의 클라우드 총괄 미테시 아그라왈은 그로크나 다른 특수 반도체 기업에 자사 클라우드를 제공할 계획이 없다고 밝혔다. 그는 “지금으로선 엔비디아를 제외하고 다른 기업을 생각하기 힘들다”고 말했다.

힘겨운 싸움이란 건 로스도 잘 알고 있다. 그는 “저희가 ‘올해의 루키’ 정도임을 잘 알고 있습니다”라고 말했다. “아직은 엔비디아 발끝도 따라가지 못하고 있죠. 그래도 ‘그다음은 뭐야?’란 눈빛으로 모두가 저희를 주시하는 건 사실입니다.”

가짜 로봇의 역사

▎ 사진:BETTMANN/GETTY IMAGES

우주복을 입은 고양이를 그리거나 SAT 시험의 답을 찾는 등 선별된 작업에서는 AI가 대부분의 인간을 앞지르는 능력을 가지고 있다. 그러나 이들 대규모언어모델이 정말 지능을 가진 건지 아니면 이전에 들어본 적 있는 정보를 내뱉는 것에 불과한지는 아직도 논쟁이 한창이다. 지능을 갖춘 것으로 ‘보이는’ 이들 기계는 역사상 언제부터 등장했을까?

기원후 75년경: 알렉산드리아에서 활약한 그리스 수학자 헤론이 신전에서 자동으로 와인을 따라주는 조각상을 설계한 적이 있다. 신자들은 이것을 신의 행위라고 여겼다.

1769년: 오스트리아의 볼프강 폰 켐펠렌이 체스를 둘 수 있는 기계장치를 만들어 이를 ‘더 터크(The Turk)’라고 불렀다. 상자 모양의 기계였는데, 그 안에는 실제 체스를 아주 잘 두는 사람이 들어가 있었다고 한다. (분명 몸집이 작아야 했을 것이다.) 터크가 벤저민 프랭클린과 나폴레옹을 대적해 모두 이겼다는 설도 전해진다.

1939년(사진): 담배를 피우면서 말을 하는 로봇 일렉트로(Elektro)가 뉴욕세계박람회에 등장했다. 그러나 말은 미리 녹음된 말만 할 줄 알았고, 담배를 피운 후에는 로봇의 ‘폐’에 남은 타르를 인간이 직접 닦아줘야 했다.

1965년: 조지 와이젠바움이 개발한 일라이자(ELIZA)가 초기 로봇 ‘상담사’로 등장했다. 대화가 가능한 로봇은 제법 그럴싸했지만, 사실 이 로봇이 줄 수 있는 대답은 “마음이 많이 힘드신가요?”나 “더 이야기해 보세요” 등 미리 녹음된 말로 제한되어 있었다.

- Richard Nieva 포브스 기자 위 기사의 원문은 http://forbes.com 에서 보실 수 있습니다.

포브스 코리아 온라인 서비스는 포브스 본사와의 저작권 계약상 해외 기사의 전문보기가 제공되지 않습니다.

이 점 양해해주시기 바랍니다.