＂더 많은 사람이 더 싸게 AI를 사용할 수 있게 하는 칩을 만들 겁니다＂ | 나라경제

KDI 경제교육·정보센터

Economic Information and Education Center

발행물

칼럼

임정욱이 만난 혁신기업가＂더 많은 사람이 더 싸게 AI를 사용할 수 있게 하는 칩을 만들 겁니다＂

임정욱 스타트업얼라이언스 공동대표 2026년 08월호

혁신가_김주영.pdf

김주영
하이퍼엑셀 대표

“칩이 나오면 처음엔 그냥 벽돌입니다. 이걸 깨워서 실제로 돌아가게 만드는 게 시작이죠.”

서울 강남 하이퍼엑셀 사무실에서 만난 김주영 대표는 손바닥만 한 반도체를 들어 보였다. 지난 3월 삼성전자 4나노 공정에서 나온 이 칩은 석 달도 채 되지 않아 기본 동작 검증과 소프트웨어 구동을 마쳤다. 이름은 ‘베르다(Bertha)’. 챗GPT와 같은 거대언어모델(LLM)의 추론에 특화된 프로세서인 LPU(LLM Processing Unit)다. 엔비디아가 장악한 AI 반도체시장에서 한국 스타트업이 새로운 길을 제시하겠다고 나선 것이다.

LLM 추론에 특화된 AI 반도체 ‘베르다’ 개발···
HBM 대신 저전력 메모리 활용해 전력 효율 극대화
김 대표는 카이스트(KAIST)에서 학사부터 석·박사까지 마친 국내파다. 2010년 박사학위를 받고 미국 마이크로소프트 본사 연구소로 건너가 8년여를 일했다. 2013년경 데이터센터용 AI 반도체를 초기부터 연구한 경험이 창업의 밑거름이 됐다. “미국의 트렌드는 한국보다 2~3년 빠릅니다. 그 흐름을 먼저 타본 것이 큰 자산이 됐습니다.”

2019년 모교 교수로 돌아온 그는 트랜스포머 아키텍처가 AI의 대세가 될 것으로 보고 2021년부터 학생 5~6명, 네이버클라우드와 함께 LLM 가속 시스템을 연구했다. 2022년 국제 학회 핫칩스(Hot Chips)에 시제품을 전시하자 미국의 반도체 대기업 AMD가 먼저 다가왔다. 그들은 “요즘 트랜스포머 가속 시스템을 원하는 고객들이 많은데 이걸 처음부터 끝까지 다 하는 곳은 너희밖에 없다”라고 했다. 그때 비로소 ‘우리가 가는 방향이 맞구나’라는 확신이 들었다고 한다.

그 직후 챗GPT 열풍이 불었고, 2023년 1월 창업했다. 교수가 창업하면 눈총받던 시절은 지나갔다. 현재 카이스트 전기전자공학부에서만 창업한 교수가 10명이 넘는다. 그도 겸직으로 강의를 면제받아 회사에 집중하고 있다. “반도체 스타트업은 새로운 워크로드(workload)가 나올 때 태어납니다. 2000년대 초 모바일 붐 때도 한국에 AP 팹리스가 많았습니다. 20년 만에 다시 온 사이클을 놓칠 수 없었습니다.” 워크로드는 칩이 처리해야 할 연산의 종류와 패턴을 뜻한다. PC 시대에는 CPU가, 스마트폰 시대에는 모바일용 AP가 성장했듯이 생성형 AI라는 새로운 워크로드가 새로운 반도체의 기회를 열었다는 설명이다.

김 대표가 주목한 새로운 워크로드는 AI였다. 그중에서도 무게중심은 추론으로 옮겨가고 있다. 모델을 만드는 ‘학습’보다 만들어진 모델로 서비스하는 ‘추론’에서 돈이 나오는 시대가 됐다. 추론이란 챗GPT, 클로드 등이 이용자의 질문에 답하는 일이다. 일반 대중의 AI 사용이 가파르게 늘고 있는 지금, 당연히 추론량 또한 엄청나게 늘고 있다. 2030년에는 AI 반도체시장의 80%를 추론이 차지할 것이라는 전망이 나온다. 여러 단계를 거쳐 생각하는 추론형 AI와 AI 에이전트 사용이 확산되면서 서비스가 쓰는 토큰의 양도 폭발하고 있다. 결국 정해진 돈과 전력으로 얼마나 많은 토큰을 만들어내느냐의 싸움이라는 것이다.

LPU는 GPU와 구조부터 다르다. 쉽게 말해 GPU가 범용 AI 연산을 위한 칩이라면, LPU는 LLM 추론만을 위해 설계된 전용 칩이다. GPU가 작은 코어 수천 개를 병렬로 활용하는 구조라면, LPU는 트랜스포머 연산 전체를 처리하는 큰 코어 수십 개로 구성된다. 데이터가 한 번 흐르기 시작하면 토큰을 끊임없이 생성하는 ‘물 흐름’ 같은 구조다. 추론의 심장인 트랜스포머 알고리즘에 최적화한 것이다.

또 하나의 승부수는 역발상이다. 모두가 고성능 메모리 HBM에 매달릴 때 스마트폰에 쓰는 저전력 메모리 LPDDR을 서버용 AI 칩으로 채택했다. “GPU와 똑같이 HBM을 쓰면 승산이 없다고 봤습니다.” 김 대표에 따르면 일반적인 GPU의 실제 대역폭 활용률은 50~60% 수준인데 하이퍼엑셀은 LLM 연산에 최적화한 설계를 통해 주어진 메모리 대역폭의 약 90%를 활용할 수 있다고 한다.

김 대표는 HBM과 첨단 패키징을 사용한 AI 가속기보다 제조원가를 크게 낮출 수 있으며, 목표 가격도 절반 이하로 낮출 수 있다고 강조했다. 전력도 250와트로 최신 GPU의 3분의 1 수준이다. “빅테크 소속 지인들도 ‘300와트 이하 그 정도의 성능이면 써볼 의향이 있다’고 하더라고요. 가속기 하나가 2천 와트를 향해 가는 시대라 전력이 진짜 문제거든요.”

3년 만에 직원 90명, 누적 투자 610억 규모로 성장···
초기 시장 뚫을 국가 레퍼런스와 인재 확보가 과제
구글, 메타 같은 빅테크가 자체 칩까지 만드는 시대에 스타트업이 파고들 틈이 있을까. 그는 냉정하게 본다. 빅테크의 문은 좁지만 공랭식(air-cooling)을 쓰는 중소형 데이터센터, GPU 의존에서 벗어나려는 네오클라우드와 소버린 AI 수요는 열려 있다는 것이다. “작은 틈새 같지만 그래도 수십억 달러 시장입니다. 의미가 있죠.”

사업도 궤도에 오르고 있다. 올해 가을부터 대기업들과 실증을 거쳐 이듬해 양산·공급하는 것이 목표다. 창업 3년여 만에 직원 90여 명, 누적 투자 610억 원 규모로 성장했다. 현재는 양산과 사업 확대를 위한 추가 투자 유치도 추진하고 있다.

10년 전만 해도 반도체는 스타트업이 할 수 없는 사업이라는 인식이 지배적이었다. 지금 한국에는 리벨리온, 퓨리오사AI 등 주목받는 AI 반도체 스타트업이 10곳도 넘는다. 모두 국내외 명문 공대, 글로벌 대기업 출신의 반도체 인재들이 창업한 회사고, 수백억에서 수천억 원의 투자도 유치하고 있다. 세계적으로도 손꼽히는 AI 반도체 스타트업 생태계가 형성되고 있는 것이다. 어떻게 가능했을까?

“AI 반도체 설계는 전자, 전산, 패키지, 물리까지 어우러진 종합예술입니다. 설계부터 소프트웨어, 제조까지 다 알아야 합니다. 그래서 할 수 있는 나라가 미국, 중국, 한국, 대만, 이스라엘 정도뿐입니다. 한국은 메모리 강국으로만 알려졌지만 모바일 AP 시절부터 쌓인 로직 반도체 역량이 있습니다. 그분들이 지금 창업하고 있는 겁니다.”

하지만 도전 과제도 분명하다. 첫째는 인재다. 반도체 대기업들이 높은 보상으로 인재를 적극 채용하면서 스타트업에서 대기업으로 떠나는 주니어들이 생기고 있다. 김 대표는 AI와 반도체 설계를 함께 아는 인재를 학교에서 직접 길러 데려오며 버티고는 있지만, 생태계 차원의 대책이 필요하다고 했다. 참고할 모델로는 대만을 꼽았다. “TSMC가 형님 역할을 하되 작은 회사들도 다 같이 가는 생태계입니다. 우리도 생태계 차원에서 인재를 키우고 지켜야 합니다.” 다행히 최근 젊은 인재들의 눈이 달라졌다. 학교에서는 몇 세대 전인 28나노 공정을 쓰지만 스타트업에서는 4나노 최첨단 공정을 다뤄볼 수 있어 학생들이 오히려 스타트업을 반긴다고 한다.

두 번째 도전 과제는 초기 시장이다. “새로운 칩은 누군가 써줘야 큽니다. 엔비디아 블랙웰도 안정화에 1년이 걸렸습니다.” 그가 내놓는 제안은 국가 AI 컴퓨팅센터의 ‘토큰 팩토리’다. 국산 AI 반도체로 채운 센터에서 연구자든 일반 이용자든 누구나 싼값에 AI를 쓰게 하자는 것이다. “미국에 가면 ‘이거 누가 써봤느냐’부터 묻습니다. 국가 레퍼런스가 생기면 해외 진출이 완전히 달라집니다.”

20년 만에 찾아온 새로운 반도체 창업의 사이클에서 김 대표는 엔비디아를 따라가는 대신 정반대의 길을 선택했다. 더 비싸고 더 강력한 칩이 아니라, 더 많은 사람이 더 싸게 AI를 사용할 수 있게 만드는 칩이다. AI 시대의 승부가 성능이 아니라 효율에서 갈린다면 승산은 충분하다. 그의 역발상이 한국 AI 반도체산업의 또 다른 가능성을 열어가기를 기대해 본다.

목록보기