한국에 세계적인 인공지능(AI) 전용 반도체 설계 스타트업이 있다. 3년 전 창업한 퓨리오사AI다. 이 회사는 지난해 글로벌 IT 기업도 통과하기 힘들다는 벤치마크 테스트에서 아시아 스타트업 최초로 결과물을 냈다. 삼성전자까지 매달린 AI 반도체 얘기를 들어봤다.

▎백준호 퓨리오사AI 대표는 “AI의 중요성을 이해하는 엔비디아, 인텔, 구글, 페이스북, 알리바바 같은 글로벌 TI 기업은 벌써 뛰어들었다”며 “이들은 AI 반도체 개발에 수천억원을 투자하고, 엔지니어 수백 명으로 팀을 꾸렸다. 규모 면에서 그들과 당장 맞설 수는 없지만, 기술력만큼은 대등하다”고 말했다.

지난 2월 17일 삼성전자가 세계 최초로 인공지능(AI) 엔진을 탑재한 메모리 반도체를 개발했다고 밝혔다. 기존 메모리 반도체에 AI 프로세서를 탑재한 것으로, 전통적인 반도체 연산 구조가 바뀔 거란 얘기가 나온다. 이는 중앙처리장치(CPU)가 메모리에서 명령어를 불러오고 실행한 뒤, 그 결과를 다시 메모리에 저장하는 작업인 ‘폰 노이만 구조’에서 벗어났다는 것을 뜻한다.

특히 데이터센터는 폰 노이만 구조로는 많은 한계에 부딪힐 수밖에 없었는데, AI 반도체는 역할이 다른 반도체가 제각기 움직이며 데이터를 주고받는 게 아니라 하나의 반도체가 자체적으로 연산처리까지 끝내버린다. 에너지 효율은 물론 처리속도마저 획기적으로 바뀔 수 있다. 반도체 기업뿐만 아니라 자율주행, 5G통신, 클라우드 기업까지 신경망처리장치(Neural Processing Unit, NPU)라 불리는 AI 반도체에 기대하는 까닭이다.

“AI의 중요성을 이해하는 엔비디아, 인텔, 구글, 페이스북, 알리바바 같은 글로벌 IT 기업은 벌써 뛰어들었습니다. 이런 기업들이 AI 반도체 개발에 수천억원을 투자하고, 엔지니어 수백 명으로 팀을 꾸렸습니다. 기존 CPU나 그래픽처리장치(GPU) 시장과는 완전히 다른 시장을 열 수 있어서죠. 물론 우리가 규모 면에서 그들과 당장 맞설 수는 없지만, 기술력만큼은 대등한 수준에 이르렀습니다.”

지난 2월 16일 서울 신사동 퓨리오사AI 본사에서 만난 백준호(44) 대표가 한 말이다. 특히 기술력 부분은 빈말이 아니다. 2019년 11월 한국 기업으로는 유일하게 글로벌 AI칩 벤치마크 테스트 ‘엠엘퍼프(MLPerf)’에 참가해 성능 지표를 인정받았다. MLPerf는 엔비디아, 인텔, 구글, 바이두, 알리바바, 하버드, 스탠퍼드 등 세계 유수의 기업과 대학이 주최하는 글로벌 AI칩 성능 테스트다.

글로벌 반도체 기업들은 자체 개발한 AI 반도체로 데이터와 이미지 처리, 언어 번역 등 까다로운 과제를 수행해 일정한 정확도를 유지해야 한다. 실제 의미 있는 결과물을 낼 수 있는 기업이 세계에서 몇 안 된다. 당시만 해도 전 세계 26개 기업이 참가 신청했으나 결과물을 낸 기업은 13개 뿐이었다. 한국 기업으로는 퓨리오사AI가 유일하게 결과를 제출했고, AI 반도체 성능에서도 우위를 확인했다. 테스트상 주요 지표에서 엔비디아, 인텔을 앞서기도 했다.

정부와 기업도 퓨리오사AI 곁에 섰다. 지난해 4월 과학기술정보통신부가 ‘차세대 지능형 반도체 기술개발 사업’에서 서버 분야 주관기관으로 퓨리오사AI를 선정했다. SK텔레콤이 총괄하며 카이스트, 포항공대 등 15개 기관과 꾸리는 컨소시엄에 8년간 총 708억원을 투입하기로 했다. 클라우드 데이터센터 등 고성능 서버에 활용할 수 있는 AI 반도체와 인터페이스를 개발하는 게 주요 목표다. 과기정통부가 2029년까지 2475억원을 투입하는 이 사업에서 가장 비중이 큰 분야이기도 하다.

기업은 정부보다 먼저 퓨리오사AI의 가치를 알아봤다. 2017년 4월 창업 당시부터 네이버의 기술 스타트업 액셀러레이터 D2SF(D2 Startup Factory)의 첫 투자를 끌어냈다. 이후 DSC인베스트먼트, 산업은행, 트러스톤자산운용, 코리아오메가투자금융, 퀀텀벤처스코리아, 인텔렉추얼디스커버리, 슈미트 등이 약 80억원 규모 투자에 동참했다. 올해도 대규모 투자 유치를 준비 중이다.

주위에서 러브콜이 이어진 데는 백 대표를 비롯한 구성원의 면면이 한몫했다. 백 대표는 1996년 서울대학교 전기공학부에 입학 후 미국 조지아공대에 편입했다. 이후 미국 반도체 기업 AMD에 들어가 GPU 설계팀에서 일했고, 2013년 삼성전자 메모리사업부에서도 설계를 담당했다. 퓨리오사AI의 핵심 개발진도 삼성전자, AMD, 퀄컴 등 국내외 유수 반도체 업체에서 10년 이상 일한 베테랑들이다. 상용 CPU, GPU, 스토리지 솔루션, 시스템온칩(SoC) 등 반도체 개발 전 과정에 걸친 역량을 보유하고 있다는 뜻이다. 백 대표가 그리는 AI 반도체는 뭘까.

대기업도 개발을 주저하는 AI 반도체에 뛰어든 이유가 뭔가.

AI 반도체는 쉽게 말해 AI를 전문으로 돌릴 수 있는 칩이다. 즉, 데이터센터나 자율주행차에 집중 적용할 수 있는 고성능 칩을 AI 반도체라고 이해하면 된다. 현재 데이터센터에서 AI 관련 연산은 대부분 GPU가 맡고 있다. 인텔 CPU와 엔비디아 GPU가 이 시장에서 막강한 영향력을 가진 이유다. 게다가 데이터센터는 전력 효율이 높은 더 고성능의 칩을 원하면서 계속해서 규모를 키우고 있다. 마이크로소프트나 구글만 해도 최소 10만 대 넘는 서버를 운용하는 하이퍼스케일 데이터센터를 여러 개 운용하고 있다. 데이터 서버용 AI 반도체 개발이 완성되면 시장 판도가 바뀔 수 있다. 특히 클라우드데이터센터는 무조건 AI 반도체를 써야 한다. 이미 길은 정해졌다.

스타트업도 할 수 있나.

▎퓨리오사AI는 지난해 4월 과학기술정보통신부가 추진하는 ‘차세대 지능형 반도체 기술개발 사업’ 서버 분야에서 SK텔레콤과 공동 주관기관으로 선정됐다. 이 컨소시엄은 클라우드 데이터센터 등 고성능 서버에 활용할 수 있는 AI 반도체와 인터페이스를 개발하는 게 목표다.

할 수 있다. 하지만 다른 어떤 분야보다 초고난도라는 점은 분명히 하고 싶다. 우리가 스타트업이기 때문에 택한 분야가 아니다. 실제 전 세계에 AI 칩 개발사는 수백 군데가 넘지만, 클라우드 같은 고성능 서버 인프라에 칩을 개발할 수 있는 기업은 몇 안 된다. 사물인터넷(IoT)으로 불리며 주변의 단위서비스로 풀어가는 저렴한 칩과 완전히 다르다. 클라우드용 반도체라면 5나노, 7나노급 초미세공정을 써야 한다. 여기에 신경망 모델을 얹어야 한다. 수백억 개 트랜지스터가 초당 수조 개 연산을 완벽하게, 설사 실패해도 오류를 수정하며 결과를 내야 한다. 우리가 ‘정밀해야 한다’고 보는 수준이다. 우리는 칩 설계에 소프트웨어(SW)를 운용하며 자체 플랫폼까지 가져간다. 글로벌 기업이 우리를 보고 놀라는 이유다.

시스템 반도체 개발도 정밀공학인데, 왜 진입이 어렵나.

한국은 반도체 미세 공정을 성공적으로 수행한 나라라고 알려졌다. 맞는 얘기다. 엔지니어 입장에서 볼 때 정밀 공정에서는 한국이 일가견이 있는 나라인 것은 맞다. 하지만 글로벌 기업들이 시스템 반도체 개발에 실패하는 건 극도의 정밀공학에 개발 경험과 그 체계가 구축되지 않아서다. 고도의 방법론이 숙성돼 있어야 하고, 엔지니어의 숙련도와 설계자의 창의성, 도면에 대한 이해가 융합돼 동시에 이뤄져야 한다. AI 반도체 개발에 뛰어든 구글과 테슬라도 최고의 핵심 인재를 모아 자율주행 반도체 개발에 투입한다. AI 반도체는 일종의 새로운 월드컵 무대라고 보면 된다. 맞붙으려면 우리도 세계 최고가 돼야 한다.

소프트웨어 개발 능력도 상당히 중요해 보인다.

그렇다. 엔비디아가 GPU를 앞세워 CPU, GPU를 모두 제조하는 AMD를 크게 앞서는 건 ‘쿠다’라는 소프트웨어가 있기 때문이다. 반도체 설계도 잘해야 하지만, 이 반도체를 잘 활용하는 능력도 갖춰야 하고, 더 창의적인 AI 개발자들이 제품을 더 잘 쓸 수 있는 도구도 완벽하게 지원해야 한다. 이제 테슬라까지 자율주행에 필요한 AI 반도체 개발에 나서고 있는데, 여기서 돋보이는 건 천재급 SW 개발자가 포진해 있다는 점이다. 퓨리오사AI는 두 영역 모두를 이해하면서 개발하기에 글로벌 벤치마크에서 우수한 성적을 낼 수 있었다.

엠엘퍼프 벤치마크 결과가 인상적이다.

엠엘퍼프 이후 우리를 향한 회의적인 시선이 사라졌다. 양산형 제품이 아니라 프로토타입으로 보여준 수치였지만, 테스트 자체 난도가 높아서 통과하는 글로벌 기업이 몇 안 된다. 이 테스트가 권위 있는 이유는 구글, 페이스북, 엔비디아, 인텔, 알리바바, 텐센트 등 수요자와 공급자가 규칙과 대상 모델을 논의해 테스트 방식을 정하기 때문이다. 성능이 최적화된 ASIC(주문형반도체)도 아니고, 프로토타입 모델인 싱글·멀티 FPGA(프로그래머블 반도체)와 자체 소프트웨어를 출품했다. 벤치마크에 참가한 전 세계 업체 중 우리 규모가 가장 작았는데, 엔지니어 수백 명을 투입한 엔비디아보다 성적이 더 좋았다. 이후 시장에서 우리에게 ‘정말 개발할 수 있냐?’고 묻지 않더라.(웃음)

비결이 뭔가.

사람 아니겠나. 창업할 때부터 삼성전자나 글로벌 기업에서 경험을 쌓은 능력과 열망이 있는 사람들이 모였다. AI 반도체를 해야 하는 이유를 구구절절 설명할 필요도 없었다. 엔지니어들은 특정 미래 기술에 대한 확신을 누구보다 빨리 갖는다. 구성원 모두가 시작이 더 늦어선 안 된다는 데 공감했고, 하드웨어(아키텍처, ASIC, 검증)와 소프트웨어(컴파일러, 알고리즘, 시스템 SW) 분야별 연구개발 인재와 함께할 수 있었다. 현재까지 직원 40명 중 90% 이상이 개발자로, 글로벌 최고 수준이라 자부한다.

그런 신입은 안 뽑나.

뽑는다. AI 분야에서는 20대의 참신한 아이디어가 빛을 발할 수 있다. 업계에서 쌓은 막강한 노하우만이 AI 반도체를 개발하는 열쇠가 아니다. 젊은 사람들이 AI를 더 편견 없이 받아들일 수 있고, 꼬인 걸 더 쉽게 풀 수 있다. BTS가 글로벌에서 성공한 건 음악 실력뿐만 아니라 글로벌한 컬처 코드를 읽는 힘이 있었기 때문이다. 우리와 함께 일하려면 지적인 기본기는 그냥 ‘잘’이 아니라 ‘정말 잘’갖춰야 하고, AI 반도체를 개발해야 하는 비전에 어떻게 공감하는지 ‘태도’가 매우 중요하다.

2017년만 해도 AI 반도체를 가지고 창업하기 쉽지 않았을 텐데.

원래 창업할 생각은 없었다. 삼성전자에 다닐 때 운동하다 아킬레스건이 끊어지는 사고를 당해 8개월 이상 쉰 적이 있다. 그렇게 1년 반 넘게 쉬던 중 AI가 눈에 들어왔다. 미국 스탠퍼드대학에서 진행한 AI 관련 강의부터 각종 자료는 다 구해다 봤다. 모든 학문이 합쳐지는 융복합의 결정체란 생각이 들더라. 그래서 2015년에는 전 세계 AI 학술포럼에 참석했고, AI 반도체를 연구하는 모임도 찾아갔다. 그렇게 뛰어다니면서 2016년 6월 즈음 창업을 결심했다.

처음 네이버에서 투자받은 금액이 13억원이라고 들었다. 큰 규모는 아닌데.

원래 300억원 정도 투자받아야 시작할 수 있다고 생각했다. 하지만 2017년 당시만 해도 반도체는커녕 AI란 개념도 뜬구름 같을 때였다. 투자자 대부분이 고개를 저었다. 그래서 아예 사업 모델까지 들고 가서 투자를 받아야겠다고 생각하고, 네이버를 찾아갔다. 당시도 그랬지만 지금도 국내에서 최대 규모의 데이터센터를 운용하는 곳이 네이버다. 데이터센터 운용에 필요한 AI 반도체 설계를 얘기했더니 손을 잡아줬다. 투자금액은 생각보다 많지 않았지만, AI 반도체를 하루라도 빨리 개발해야겠다는 열망에 일단 시작했다.

과기정통부의 AI 반도체 개발 프로젝트는 어떤가.

SK텔레콤과 함께 서버 분야를 맡았지만 개발 반도체가 좀 다르다. SK텔레콤은 학습용 반도체 개발을 맡았고, 우리는 추론용 반도체 개발을 맡았다. 학습용 반도체는 일정 시간 처리되는 데이터 총량이 중요한 반면 추론용 칩은 반응속도가 중요하다. 자율주행차나 데이터센터가 받아들이는 1초당 수조 개 상황을 즉각 인지하고 판단해야 하기 때문이다. 개발이 완료되면 엔비디아 GPU보다 16배 빠른 연산능력을 갖춘 반도체가 나올 거다.

창업했던 2017년부터 지금까지 반도체 업계도 역동적으로 변한 것 같다.

누군가 묻는다. 불만이나 좀 달라졌으면 하는 건 없냐고. 이 분야는 어느 정도 규모 있는 투자가 필수인데, 시장도 이젠 조금씩 이해하는 것 같다. 정부의 AI 반도체 개발 사업도 면면을 보면 정부가 할 수 있는 최선의 사업구조를 만든 것 같다. 반도체 업계에 큰 획을 그을 수 있는 나라는 미국과 한국 정도가 아닐까 싶다. 세계 최고의 파운드리 업체가 포진한 곳에, 수십 년간 글로벌 커넥션 없이 반도체 시장을 주름 잡았던 인력이 포진해 있다. 이미 AP(Application Processor, 스마트폰 중앙처리장치)에 들어가는 반도체와 SSD는 세계 최고 수준이다. 우리 초기 멤버도 삼성 출신이었다. 그만큼 한국은 좋은 환경이다. 물론 반도체 업계에는 정신력만으로 할 수 없는 게 많다. 하지만 우리는 할 수 있는 일을 하고 있다.

- 김영문 기자 ymk0806@joongang.co.kr·사진 이원근 객원기자