코어당 처리속도 빠르고 자연어 처리 최적화… 삼성전자·보쉬·델 등 투자사 참여

▎강민우 그래프코어 한국지사장은 연산속도를 비약적으로 높인 IPU를 통해 AI 등 신기술 도입이 가속할 수 있다고 내다봤다. / 사진:그래프코어

최근 중앙처리장치(CPU) 등 비메모리 반도체에 D램 등 메모리반도체를 덧댄 모듈형 제품, 딥러닝 알고리즘 연산에 최적화된 병렬형 신경망처리장치(NPU) 등 신개념 기술이 쏟아지고 있다. 인텔도 옵테인 등 제품을 들고 메모리 반도체 시장에 뛰어들었다. 향후 반도체 기술 표준이 어디로 튈지 모르면서 삼성전자·AMD·IBM·엔비디아·퀄컴 등 반도체 제조사 간 이합집산이 빠르게 펼쳐지고 있다. 2019년 반도체 업계 인수·합병(M&A)이 317억 달러(약 37조원)로 전년 대비 22.4% 늘어난 것도 이런 분위를 반영한다.

반도체 원천 기술 강국인 영국의 ‘그래프코어’는 지능처리장치(IPU)라는 신개념 반도체를 들고나온 스타트업이다. IPU는 코어 프로세서에 직접 메모리 블록을 배치해 연산 및 저장, 처리 속도를 극단적으로 끌어올린 제품이다. 대량의 데이터를 초고속으로 연산해야 하는 AI 처리에 적합하다. 그래프코어는 알테라·이매지네이션을 거친 나이젤 툰과 엘리먼트14·아이세라의 창업자 사이먼 놀스가 공동 창업했다. 삼성전자와 보쉬벤처캐피탈(VC)·델테크롤로지캐피털·C4벤처스 등으로부터 모두 4억5000만 달러의 투자를 받았고, 현재 기업가치는 15억 달러(약 1조8000억원) 규모로 평가받는다. 올 1월에는 한국 시장에도 진출했다. 강민우 그래프코어 한국지사장은 “AI 분야에서 새로운 기회가 창출될 것으로 판단했으며, 실제 많은 혁신기업이 AI 하드웨어 문제에 도전받고 있다”고 말했다.

IPU는 NPU 등과 어떤 점이 다른가.

“IPU는 그래프코어가 독자 설계한 칩으로, CPU나 그래픽처리장치(GPU)·NPU 등과 달리 프로세서에 직접 메모리 블록을 배치했다. 콜로서스(Colossus) IPU는 1216개의 독자 IPU 코어로 구성됐으며, 각 코어당 256KB의 SRAM(메모리반도체의 한 종류)을 탑재해 총 311MB의 메모리를 내장하고 있다. 각 메모리는 코어에 종속되지 않아 하나의 코어가 여러 개 메모리를 활용할 수 있다.”

연산 속도는 어느 수준까지 나오나.

“독립 코어마다 메모리를 타일 형태로 배치해 지연이 적고 학습·추론 모델을 메모리에 적용해 바로 연산이 가능하다. 코어 당 메모리를 각각 배치한 새로운 아키텍처로, 연산 코어에 가장 밀접한 곳에 메모리를 배치해 지연을 최소화했다. IPU 각 코어당 연산 성능은 100기가플롭스(GFLOPS·초당 10억 부동 소수점을 연산할 수 있는 성능)로 7000~1만개 프로그램을 병렬로 실행할 수 있다. 150W 전력을 기준으로 총 125테라플롭스(TFLOPS)의 연산 속도를 제공한다.”

“GPU 전력 소모의 절반, 상호보완적 관계”

GPU를 완전히 대체할 수도 있나.

“IPU와 GPU는 상호보완적 관계다. GPU는 상당히 큰 사이즈의 벡터(Vector) 구성으로 돼 있어 배치(Batch) 사이즈가 큰 대용량 이미지 관리에서 유리하다. 이에 비해 IPU는 배치 사이즈가 작은 경우에 GPU보다 성능이 월등히 뛰어나다. 또 자연어 처리나 데이터가 분산된 경우에도 강점이 있다. 기업의 머신러닝·딥러닝의 모델링이 무엇이냐에 따라 만족도가 크게 달라질 수 있다.”

AI 처리는 방대한 데이터를 빠르게 읽어 결과를 도출해야 하므로 속도가 가장 중요하다. 단순 연산이 필요한 암호화폐 채굴에 복합연산에 최적화된 CPU보다 클럭이 높은 GPU를 쓰는 것과 비슷한 이유다. 다만 클럭이 높으면 전력 소모량이 많아지는 게 단점이다.

주로 어느 분야에 사용할 수 있나.

“구글·네이버 등 검색 엔진과 주식 거래처럼 실시간 확률 계산이 중요한 금융 업종에서도 IPU가 우수한 성능을 내고 있다. 기존 하드웨어로 2시간 이상 걸린 작업을 4분30초 만에 최적화하기도 했다. GPU보다 전력 사용량이 절반 이하라 스스로 판단하고 학습할 수 있는 머신러닝에 적합하며, 그래프 기반의 아키텍처로 자연어처리(NLP)에도 높은 성능을 발휘한다. 금융과 보건·의료공학·신약개발 등 분야에서 유용하게 쓰일 수 있다.”

서버용 제품도 개발 중인가.

“델의 서버 랙 기술과 통합돼 있다. 이를 통해 기업이 직접 머신 인텔리전스 컴퓨팅을 구축할 수 있도록 지원할 계획이다. 지난해 마이크로소프트(MS)가 애저(Azure) 서비스에 IPU를 탑재해 AI 개발 환경을 제공한다고 밝힌 바 있다. 사용자들은 애저 플랫폼 안에서 머신러닝과 자연어처리 등을 통해 신규 서비스와 제품을 개발할 수 있다.”

현재 IPU 등 AI 반도체의 시장성이 있나.

“현재 고성능 AI 분야의 학습·추론이 모두 가능한 기업은 엔비디아·구글·그래프코어 뿐이다. 그만큼 학습·추론 모두 가능한 AI 칩 개발은 어렵다. 인텔은 자사 AI 칩 너바나 개발을 중단하고 하바나 랩스의 AI 가속기 하바나에 주력할 것이라고 발표한 바 있다. AWS와 애저, 알리바바 등 하이퍼스케일 데이터센터와 클라우드 서비스 제공 업체를 주요 고객으로 파악하고 있고, 향후 IPU의 시장 전망도 긍정적으로 보고 있다.”

현재 반도체 시장은 비메모리-메모리 기업 간에 영역 침범이 일어나는 한편 인텔-반인텔 진영으로 나뉘어 이합집산이 활발하다. 이 때문에 메모리 반도체 성능을 최적화할 수 있는 비메모리 기술, 비메모리 반도체의 연산 성능을 끌어올릴 수 있는 메모리 서포팅 기술 등 융합이 벌어지는 중이다.

“반도체는 4차 산업혁명 첨병, 최고 제품 제공할 것”

창업 초기임에도 MS와 손을 잡을 수 있었던 비결은.

“지난해 MS와 파트너십을 맺었다. 이후 델로부터 최초의 그래프코어IPU 서버인 Dell DSS8440을 출시하기도 했다. 지난해부터 그래프코어 IPU 제품이 대량생산에 돌입했다. 이들 기업과는 창업 초창기부터 접촉했고, 그 가운데 주목할 만한 성과를 올리게 됐다.”

기술 창업은 투자 대비 수익 창출이 오래 걸린다. 창업 후 어려움은 없었나.

“최고 인재의 영입과 글로벌 투자자 유치는 일은 어려운 과제다. AI 가속화라는 신기술을 통해 혁신 기업들과 활발히 협업했고, 신흥 시장을 초기에 집중적으로 공략했다. 특히 그래프코어는 기존에 경험하지 못한 빠른 학습과 추론을 위한 속도를 보장한다. 4차 산업혁명을 주도하는 여러 분야에 접목해 활발히 도입될 것으로 예상한다. 기업 고객들의 수요 변화에 발맞춰 공격적으로 시장을 개척하고 최적의 제품과 서비스를 제공할 계획이다.”

한국에 진출한 이유는.

“한국은 5세대(5G) 이동 통신과 혁신 기술을 보유한 흥미로운 시장이다. 삼성전자·네이버·카카오·SK텔레콤 등과 같은 혁신 기업이 있고, 그래프코어와 함께 AI 혁신을 위한 시장 기회를 포착할 수 있을 것으로 기대한다. 국내 대학교와 연구소와 협업을 추진하는 한편 지속적 지원과 투자로 고객 네트워크를 늘릴 방침이다.”

- 김유경 기자 neo3@joongang.co.kr