생성형 인공지능(Generative AI)의 핵심기술은 생성형 적대 신경망(GAN, Generative Adversarial Network)을 기반으로 한다. 포브스코리아는 AI 성장단계를 정리하고 GAN 기술의 개요와 함께 국내외 관련 특허를 보유한 핵심 기업들과 주요 키워드를 살펴본다.
생성형 인공지능(Generative AI)은 최근 챗GPT의 돌풍 이전에 이미 지난 2018년 화제가 됐었다. 도널드 트럼프 당시 미국 대통령이 파리기후협정에서 탈퇴할 것을 촉구하는 연결 동영상이 GAN 기술로 만들어진 가짜였기 때문이었다. 당시 파장을 일으킨 키워드는 ‘딥 페이크(Deep fake)’였다. 딥페이크는 인공지능의 일종인 딥 러닝에서 유래했다. 딥 러닝 알고리즘은 비디오와 디지털 콘텐트에서 얼굴을 교환하여 사실적인 가짜 동영상을 만드는 데 활용됐다. 이후 GAN 기술을 이용한 딥페이크는 더욱 정교해져 영국 ITVX의 코미디쇼에서 유명인이 출연하지 않았는데도 그가 주인공인 영상이 만들어지기도 했다. 최신 딥페이크 트렌드는 GAN 기술을 이용해 대체배우가 연기를 하고 다른 사람의 얼굴로 치환하는 방식으로 완성된다. 최근 국내 방송에 노출되고 있는 KB라이프 광고에서 원로배우 윤여정의 20대 모습을 구현한 것이 대표적인 예이다. AI는 윤여정의 20대 시절 사진과 동영상을 학습하고 재연배우의 연기에 윤여정의 얼굴·표정·말투를 반영해 젊은 윤여정의 모습을 생성했다. 생성형 AI는 재미있는 기획에 활용되기도 하지만 정치적 긴장이나 범죄에 악의적으로도 사용될 수 있다. 딥트레이스(Deeptrace) 보고서에 따르면 2019년 기준 온라인에서 발견된 딥페이크 동영상의 96%가 유명인의 포르노 영상이었다.

그리고 2023년을 맞아 챗GPT를 계기로 GAN 기술 및 생성형 AI가 잠금해제되고 대중화 시대를 맞이했다. 포문을 연 챗GPT는 온라인의 모든 문서를 학습해 질문에 대한 문서형의 최종 맞춤형 출력물을 생성하지만, 이후 그림, 동영상, 음악 등을 생성형 AI가 더욱 고도화할 것으로 전망된다. 생성형 AI 기술은 일반적으로 비용이 많이 들고 전문인력이 필요한 고급 생성 모델에서 실행됐기 때문에 일반 기업이 감당하기 어려웠다. 하지만 최근 일반인도 쉽게 이용할 수 있는 생성형 AI 플랫폼 달리(DALL.E), 미드저니(Midjourney), 스테이블 디퓨전(Stable Diffusion)은 빠르고 최소화한 컴퓨팅으로 상대적으로 좋은 출력물을 생성할 수 있어 인기가 높아지고 있다. 하지만 이러한 생성도구의 범위는 가장 단순한 버전이다.

구글이 설명하는 GAN 기술의 간단한 개념을 살펴보자. GAN은 생성기와 판별기로 구성된다. 생성기는 데이터를 학습하며 그럴듯한 초기 출력물을 생성하기 시작한다. 완성도가 떨어지는 생성 인스턴스는 판별기에 의해 부정의 학습 예제가 된다. 판별기는 생성기가 만든 가짜 생성물과 실제 데이터를 구별하는 방법을 학습한다. 판별기는 완성도가 떨어지는 결과를 만든 생성기에 페널티를 부과한다. 쉽게 정리하자면 생성기는 계속 가짜를 만드는 훈련을 하고 판별기는 지속적으로 가짜를 구별하는 훈련을 하며 끊임없이 대결한다. 학습이 진행됨에 따라 생성기는 판별기를 감쪽같이 속일 수 있는 출력물을 만드는 데 성공한다.



GAN 기술의 특허 핵심기업 및 키워드

특허정보DB 페이턴트피아(Patentpia)에서 ‘GAN 기술’ 키워드를 입력해 지식재산권(IP) 정보를 추출해봤다. GAN 기술 관련 특허는 지난 2017년 미국에서 처음 등장했으며 글로벌 단위로 현재 3303건의 공개특허가 검색됐다. 미국 1542건, 중국 1239건에 이어 한국이 368건이었다. 유럽(132건)과 일본(22건)은 상대적으로 적었다.

국내 GAN 관련 특허는 공개특허 수 기준으로 삼성전자가 총 24건으로 가장 많았다. 삼성전자는 ‘픽셀별주석을 생성하는 생성형 적대 신경망(GAN)을 학습시키는 방법(출원번호1020200034099)’, ‘복제 비디오를 검출하는 장치 및 방법(1020210052526)’, ‘미지의 저하가 발생한 실제 초고해상도의 신경망을 학습시키는 시스템 및 방법(1020210042444)’, ‘반복적 생성을 통해 출력 콘텐트를 향상시키기 위한 디바이스, 방법 및 프로그램(1020190160008)’ 등을 보유하고 있다.

이어 기업으로 스트라드비젼(12건), 케이엘에이(8건), KT(8건), LG전자(6건), 애자일소다(4건), 보에 테크놀로지(중국, 4건), 네이버(4건) 순이었다. 한편 학교 및 기관으로는 연세대 산학협력단(17건), 고려대 산학협력단(22건), 한국전자통신연구원(11건), 서울대 산학협력단(8건), 한국과학기술원(8건), 국민대 산학협력단(5건), 아주대 산학협력단(5건), 한양대 산학협력단(5건) 순이었다.

GAN 관련 미국 특허는 IBM이 72건으로 가장 많았다. IBM 특허는 ‘원본 및 수정된 이미지를 사용한 사용자 인증’, ‘음성 합성을 위한 음성 복제 전송’, ‘비디오 및 오디오 기록의 자동 컨텍스트 인식 구성 및 동기화’, ‘복잡한 지식 기반 내에서 검색 결과의 적절성 증가’ 등이다. 이어 캐피털원서비스(61건), 어도비(51건), 삼성전자(39건), 엔비디아(35건), 지멘스헬시니어스(30건), 마이크로소프트(23건), 포드(21건), 인텔(17건), 상하이 유나이티드 이미징 인텔리전스(16건), 엑센추어 글로벌 솔루션(16건), 텐센트(16건), GE(16건), X디벨롭먼트(15건) 순이었다.

GAN 기술의 특허들의 최근 급성장 키워드를 살펴보면, 증강된 데이터(augmented data) 7건, 증분학습(incremental learning) 5건, 앙상블 모델(ensemble model) 5건, 식별 모델(identification model) 5건, 학습 목표(learning objective) 3건, 기계학습 예측(machine learning prediction) 2건, 광학 검사 시스템(optical inspection system) 2건, 태스크 모델(task model) 2건, 노이즈 제거 필터(noise reduction filter) 2건, 뉴럴 네트워크 가중치(neural network weight) 4건, 단일 광자 방출(single photon emission) 8건, 머신 러닝 분류(machine learning classification) 2건 순이었다.

한편, 영국 테크 전문 미디어 더 리지스터(The Register)는 “입력 데이터를 출력에서 마술처럼 변환하는 것처럼 보이는 숫자 처리 프로세스는 종종 불투명하고 해석할 수 없다”며 “그래서 AI와 신경망 기술은 쉽게 설명할 수 없으므로 특허 심사관이 출원의 핵심 세부사항을 평가하기 어렵다”고 보도했다.

- 이진원 기자 lee.zinone@joongang.co.kr