과거 엠파스, 네이트에 검색엔진을 공급하던 기술력 있는 기업이 일찌감치 인공지능(AI)으로 발을 뻗으면서 국내 대표 AI 소프트웨어 전문기업으로 자리매김했다. 코난테크놀로지 얘기다. 코스닥 상장사인 이 회사는 국방·의료 AI 등 공공기관 시장을 빠르게 선점해나가고 있다.

▎김영섬 코난테크놀로지 대표는 앞으로 AI 시장 성장 가능성이 높을 것으로 내다봤다. 기업들의 AI 솔루션 도입이 필수가 될 것이라는 점에서다.

국내 인공지능(AI) 소프트웨어 전문기업인 코난테크놀로지가 공공사업 수주에서 성과를 올리고 있다. 경찰청 콜센터 AI 챗봇 구축, 남부발전 공공 거대언어모델(LLM) 도입에 이어 해병대사령부와는 ‘AI 기반 공중무인체계 영상 통합분석 기술 실증 사업’ 계약을 체결하는 등 정부 부처 사업과 공공기관 연구를 꾸준히 따내고 있어서다.

김영섬 코난테크놀로지 대표는 “남부발전 수주는 공공기관 산업 현장 최초의 LLM 도입 사례라는 점에서 의미가 있다. 기술실증 6개 부문에서 큰 격차로 최고점을 받아 사실상 ‘코난 LLM’의 뛰어난 문서 생산성을 입증받았다”고 자평했다. 기업들이 수익을 키우기 위해 AI 솔루션을 속속 도입하는 만큼 올해는 유사한 규모의 공공기관을 중심으로 새로운 프로젝트 수주가 더욱 많아질 것으로 기대했다.

더불어 코난테크놀로지는 최근 한림대의료원과 의료 AI 서비스 개발에 나서기로 했다. 입원기록지, 경과기록지, 퇴원요약지, 전출기록지 등 수기로 작성하던 진료·차트 기록이 LLM으로 처리된다.

김 대표는 “의료 LLM이 적용 가능한 분야가 두 가지인데, 진단 등 디시전 영역으로 가버리면 문제가 있을 수 있다”면서도 “우리는 의사, 간호사 등 의료진의 일손을 덜어주는 방향”이라고 설명했다. “의료진이 의무기록 작성에 쓰는 시간이 대폭 단축될 것”이란 예상이다. 김 대표는 이어 “현재 기록 1건당 평균 약 4분, 연간 약 7만6000시간이 소요되는데 LLM 서비스를 도입하면 절반으로 단축될 것으로 기대된다”며 “입력 오류도 줄어들어 의료기록의 정확성이 향상돼 궁극적으로 의료서비스의 전반적인 품질 향상이 예상된다”고 덧붙였다.

김 대표는 한양대 전자통신학과 공학박사 출신이다. 한국전자통신연구원(ETRI)과 미국 벨코어연구소에서 근무한 후 ETRI 동료들과 1999년 코난테크놀로지를 창업했다. 검색엔진 사업화 이후 텍스트와 비디오 분야에서 AI 사업을 이어오고 있다. 대표 제품은 벡터검색엔진인 ‘코난 서치’다. 이미 약 2900개 고객사와 3400건의 프로젝트를 진행한 바 있다. 엠파스, 네이트에도 코난의 검색엔진이 사용됐다. 검색된 결과를 분석해 기업 의사결정을 도와주는 ‘코난 애널리틱스’, AI 에이전트 ‘코난 챗봇’, 시그널 분석 서비스 ‘펄스케이’도 텍스트 AI 제품군에 속한다. 이 회사의 비디오 AI 대표 제품은 ‘코난 와처’다. 특허받은 비디오 인식 기술을 바탕으로 방송국과 동정 파악 등에 적용하다가 늘어나는 국방 수요로 레퍼런스를 확대 중이다.

김 대표는 “창립 이후 검색엔진 ‘코난 서치’가 캐시카우로 매출을 이끌어왔고, 지난 2022년까지 텍스트와 비디오 AI 제품군이 각각 전체 매출의 85%, 15%가량을 차지했다”며 “지난 2023년부터는 코난 와처의 호실적에 따라 비디오 AI 매출 비중이 35%로 높아졌다”고 설명했다. 이어 “2023년 출시한 ‘코난 LLM’이 2024년 매출에 반영되고, 생성형 AI 수요 증가로 인해 앞으로는 텍스트와 비디오 양 분야에서 매출이 고루 확대될 것”으로 기대했다.

백화점, 호텔, 지하철역부터 관공서, 대학교 등에 도입된 코난 AI 동시통역도 호평을 받고 있다. 터치스크린, 음성명령 등 직관적인 사용자 인터페이스(UI)를 제공해 누구나 쉽게 사용할 수 있다는 게 특장점이다. 즉시 통역도 가능하다. 외국인이 모국어로 질문하면 평균 1초 이내에 통역된다. 현재 서비스 중인 13개 언어 외에도 몽골어 등 신규 추가 작업도 진행 중이다. 통역 오류는 완벽히 바로잡기는 어렵지만, 지속적인 데이터 학습과 튜닝을 통해 정밀도를 높이고 있다. 김 대표는 “사용자 피드백을 반영해 언어 모델을 지속적으로 개선하고 있으며, 실환경 데이터를 학습해 공항, 은행, 대중교통 등 특정 지역에서 더욱 최적화된 번역을 제공한다”며 “특히 실시간으로 특정 어휘나 구문에 가중치를 부여하는 기술을 적용해 파인 튜닝 없이도 필요한 번역 정확도를 즉시 향상하고 있다”고 자랑했다.

코난테크놀로지는 개발 인력과 장비, 데이터 등 차별화된 인프라도 갖추었다. 특히 국내 기업 중 최초로 대규모 엔비디아 H100 GPU(약 140장)를 도입해 운영 노하우를 쌓았다. 이를 통해 모델 개발과 테스트를 빠르고 유연하게 진행할 수 있는 인프라를 확보한 셈이다. 이뿐만 아니라 회사가 가진 방대한 데이터도 큰 자산이다. 엠파스, 네이트, 실시간 AI 분석 서비스 펄스케이 등의 서비스를 20년 넘게 운영하며 축적한 데이터가 250억 건에 달한다. 이 데이터를 활용해 효율적인 모델 개발과 차별화된 AI 기술 구축이 가능하다는 설명이다.

여기에 메타의 파이토치, 구글의 텐서플로, 바이두의 패들패들과 같은 독자 AI 개발 프레임워크인 ‘코난 Dtrain’을 가지고 있다. 빅테크 프레임워크에 비해 지원 환경이나 확장성은 부족하지만, 코난이 추구하는 온디바이스 제품 개발에 상당한 기여를 하고 있다는 전언이다.

김 대표는 “국내 기업들이 공통적으로 겪는 인프라 부족 상황에서도 140여 장의 H100 GPU, 20년간 축적해 온 AI 분석 데이터, 코난 Dtrain 프레임워크, 고유의 지식 추출 기술을 바탕으로 효율적이고 차별화된 LLM을 개발하는 것이 앞으로의 개발 전략”이라고 소개했다.

의대 선호에 전문 인력 확보 더 어려워

김 대표는 우리나라 AI 수준이 세계적으로 5위 정도 될 것으로 예측했다. 김 대표는 “원래는 톱 3 안에도 들 수 있었을 텐데, 최근의 의대 선호 흐름을 비롯해 소프트웨어진흥법이 건설개발자 용역표와 비슷하게 설정된 것 등 이런 분위기가 이어진다면 AI 산업적으로 나라에 큰 비전이 만들어지기 어렵다”고 판단했다. “그럼에도 평균적으로 우리나라가 다른 나라보다 잘한다. 한국인은 근면하고 개인 역량이 아주 좋은 편”이라는 진단이다.

중국은 기업이 비전을 제시하면 대규모 투자를 받기 쉬운데 국내는 그렇지 않다는 현실도 지적했다. “알리바바가 지원하는 베이징 소재 스타트업 문샷의 경우, 30대 창업가가 창업 3년 만에 5조 가치로 투자 받았어요. 이에 반해 우리나라는 500억원 가치로도 투자자들이 움직이지 않습니다. 최소 1조원 정도는 평가를 받아야 딥시크처럼 월드와이드 모델 개발의 기반이 되는 투자가 이뤄집니다. 전도유망한 기업들의 지원 면에서 해외와 차이가 큰 지점입니다.”

생성형 AI는 수조원이 드는 장치산업이라는 점에서 국내 인프라 부족도 지적했다. 김 대표는 “급변하는 기술 환경에서 해외 기업들을 따라잡기에는 절대적으로 인프라가 부족하다”며 “해외 빅테크처럼 수만 개의 고사양 GPU를 확보할 수 있는 환경이 아니기 때문”이라고 설명했다.

AI가 학습해야 하는 데이터에도 법적 제약이 따른다. 김 대표는 “딥시크-V3는 14조8000억 개 토큰으로 학습됐는데 이는 1억4800만 권에 달하는 책이 들어간 것으로 생각하면 된다. 어마어마한 양”이라고 설명했다. 이어 “국내에도 데이터를 수집하는 기업이 많지만, 저작권을 비롯한 법적 제약을 충분히 고려하지 않는 사례가 일부 존재한다”며 “AI 모델 개발과 데이터 수집 과정에서 법적 리스크를 간과하면, 장기적으로 기업의 지속가능성에도 영향을 미칠 수 있다. 업계 전체가 이러한 부분을 더욱 면밀히 검토하고, 책임감 있는 데이터 활용 방안을 모색해야 할 시점”이라고 강조했다.

딥시크에 대해서는 효율적인 개발론에 대해 화두를 던졌다고 평가했다. 후발 주자들도 글로벌 AI 시장에서 경쟁할 기회를 얻을 가능성이 높아졌다고 생각하게 끔 했다는 것이다. 그러나 딥시크 측이 주장하는 ‘저비용’과 달리 2조2000억원이라는 상당한 자금이 투입됐을 것으로 예상했다.

“딥시크의 V3 베이스 모델은 6710억 개 파라미터와 14조8000억 개 토큰으로 구축됐는데, 이를 테스트하려면 십수억원 규모의 엔비디아 DGX 서버가 필요합니다. 스타트업 입장에서는 부담이 클 수밖에 없고, 많은 기업이 결국 오픈된 6개의 작은 증류 모델을 활용하는 방안을 모색하고 있습니다. 6710억 개 파라미터 모델을 기업이 들여오려면 관련 장비에만 15억원 정도가 듭니다. 즉, 기업 투자 여건과 장비 확보가 선행돼야 국내에서도 딥시크 같은 기업들이 등장할 수 있습니다.”

그는 앞으로 AI 시장 성장 가능성이 높을 것으로 내다봤다. 수익 확대를 위해 기업들의 AI 솔루션 도입이 필수가 될 것이라는 점에서다. 구체적으로 기업들은 B2B 서비스 강화, 특화 기능 제공, 데이터 서비스 확장 등의 전략을 추진해야 하며, 특히 기업용 AI 솔루션을 통해 생산성 향상과 비용 절감을 지원하는 것이 핵심이 될 것으로 판단했다.

해외 사업은 신중하게 준비 중이다. 김 대표는 “사업 초기 미국과 유럽에서 시장을 타진한 경험이 있다”며 “준비를 열심히 해서 갔는데도 어려운 게 미국 시장이다. 운도 필요한 것 같다”고 회고했다. 이어 “3월 출시 예정인 코난 RAG-X는 언어 사용에 제한이 없는 AI 에이전트 솔루션으로, 해외 서비스에 부합한다. 해외 협업과 파트너십 등 진출 방향에 대해서는 정식 출시 이후 적극 검토하려고 한다”고 말했다.

김 대표의 경영 철학은 ‘소프트웨어 개발 회사의 경쟁력은 곧 사람이다’로, 그는 실제로 개발자들을 누구보다 잘 챙기는 CEO로 알려져 있다. 직원들과 점심, 저녁을 함께 먹으며 일상을 공유하는 것은 기본이다. 그 마음에 보답하듯 직원들도 자신의 일처럼 회사 일을 하고 있다.

“2007년 미국 라스베이거스 전시회 갔을 때, 또 2023년 서울 여의도에서 LLM 출시 때도 홍보 부스를 만들었는데 주변의 대기업 임원들이 다가와 ‘도대체 어느 회사냐’고 많이 물었어요. 왜 그러냐고 물어보면 ‘회사 인력이 적어 보이는데 다들 자기 일처럼 열심히 하는 사람들만 모여 있다’면서 나중에 우리 주식을 사고 싶다고 하더라고요.”

모두가 R&D에 진심인 사내 분위기도 김 대표가 이끌고 있다. 그는 “우리처럼 논문이나 리포트들이 이메일로 서로 날아다니는 회사가 별로 없을 듯하다”며 “나부터도 임원들한테 일주일에 논문 대여섯 편은 보낸다”고 전했다.

그의 꿈은 5년 후 코난테크놀로지 매출이 10배 늘어나는 것이다. 일단 올해는 적자폭을 줄이는 것. “지난 4년여간 인프라 투자를 활발히 진행해왔으니 올해는 적자폭을 줄이고, 수익 창출을 목표로 하려고 합니다.”

- 이정은 기자 lee.jeongeun2@joongang.co.kr _ 사진 박정훈 객원기자