인간 vs 인공지능 대결은 인간 완승... 과거보다 발전했지만 보완점 많아

▎2월 21일 열린 ‘인간 vs 인공지능 번역 대결’ 행사에서 관계자들이 구글·네이버·시스트란 번역기를 이용해 번역을 하고 있다. 심사위원단은 4인의 전문 번역사로 구성된 인간 대표의 손을 들어줬다.

인간과 인공지능(AI)이 또 한 번 맞대결을 벌였다. 종목은 번역, 이긴 쪽은 인간이었다. 2월 21일 국제통역번역협회와 세종대학교 공동 주최로 서울 세종대에서 열린 국내 최초 ‘인간 대(vs) 인공지능 번역대결’ 행사에서 인간 대표로 참석한 4인의 전문 번역사는 3종의 국내외 AI 번역기와 함께 50분간 문학·비문학 지문 네 개의 ‘영어→한글, 한글→영어’ 번역을 진행했다. 심사위원단은 결과물의 정확성과 어법, 맥락과 함축적 의미를 이해했는지 여부 등을 채점했다. 그 결과 전문 번역사들은 60점 만점에 49점을 얻어 AI 번역기들을 따돌렸다.

대결에 참가한 AI 번역기는 구글 번역기와 네이버 파파고, 시스트란이었다. 시스트란은 세계 1위 기계 번역(비즈니스 전문) 업체다. 주최 측은 이들 번역기의 평가 점수를 공개하면서 번역기명은 익명 처리했지만, 관련 업계에 소문이 퍼지면서 하루 만에 번역기별 채점 결과가 밝혀졌다. 1위는 구글 번역기(28점), 2위는 네이버 파파고(17점), 3위는 시스트란 번역기(15점)였다.

SMT에서 한걸음 더 나아간 NMT 기술 적용

파파고로서는 만족스럽지 못한 결과다. 인간은 물론 영한·한영 번역이라 내심 우세할 것으로 예상됐던 번역기 간 경쟁에서도 구글에 뒤졌다. 지난해 8월 시범 서비스를 시작한 뒤 올 초정식 출시된 파파고는 구글에 앞서 새로운 기계 번역 기술인 ‘인공신경망번역(NMT)’ 방식을 적용해 선보였다(구글은 지난해 11월 NMT를 적용한 번역기를 공식 출시). NMT는 기존 ‘통계기반번역(SMT)’ 방식보다 진화한 기술로, 전체 문장을 하나의 번역 단위로 취급해 한 번에 번역해낸다. 이 때문에 어순을 파악하고 문맥을 짚어 번역에 반영하는 데 강점을 지녔다. 네이버 측은 파파고가 NMT로 꾸준한 기계학습(머신러닝) 과정을 거쳐 구어체 같은 까다로운 문장 번역에 능하다고 자평하고 있었다(네이버는 자사의 NMT 기술을 ‘N2MT’로 명명했다. 맨 앞에 사명을 넣었다). 다만 업계 일각에선 네이버보다 먼저 AI 번역에 뛰어들어, 10년간의 서비스 제공 노하우를 갖춘 구글을 네이버가 일거에 따라잡기 쉽지 않을 것이란 분석도 있었다. 구글의 NMT 기술(‘GNMT’) 역시 반복적인 머신러닝으로 보다 정확한 번역에 도전하고 있다.

이에 대해 네이버 측은 형평성이 떨어질 수 있는 대결이었다는 반응이다. 네이버 관계자는 “파파고는 200자 이하의 텍스트에만 NMT가 적용되고, 200자 이상엔 SMT가 적용된다”며 “주최 측이 문제의 원문을 200자씩 끊어서 넣지 않고 단번에 넣어 이 같은 결과가 나올 수밖에 없었다”고 말했다. 실제 파파고에 접속하면 ‘200자 이상인 경우 기존 번역기 결과로 보여 진다’는 안내 문구가 나온다. 구글 번역기는 무제한이라 200자 이하도 NMT로 번역한다. 네이버는 올 6월께 파파고의 이 200자 제한을 풀 계획이다. 네이버 측 희망대로 200자 제한이라는 동일한 조건 하에 구글과 파파고의 AI가 맞붙으면 승자는 어느 쪽일까. 기자는 2월 23일 두 번역기를 직접 써봤다.

우선 두 기업의 설명대로 ‘최신 번역기는 구형 번역기보다 월등히 나은 성능을 보여줬다’는 게 사실일까. 궁금증에 이 문장을 영어로 번역하자 구글은 ‘The latest translator has performed far better than the old translator’, 파파고는 ‘The latest translator showed far better performance than the old translator’라고 했다. 파파고에서 구글이 번역해준 영어 문장을 다시 한국어로 번역하니 ‘최근의 통역자들은 오래된 번역보다는 훨씬 낫다’고 했다. 거꾸로 구글에 파파고가 번역한 영어 문장을 넣자 ‘최신 번역가는 이전 번역자보다 훨씬 우수한 성능을 보여주었습니다’라고 했다. 구글에서 원래 영어로 번역했던 문장을 다시 넣자 ‘최신 통역은 이전 통역보다 훨씬 뛰어났습니다’라고 했고, 같은 상황에서 파파고는 ‘최신 번역가는 오래 된 통역자보다 훨씬 더 뛰어난 성능을 보였다’라고 했다.

얼추 맞게 번역은 됐지만, ‘번역기’라는 뜻도 있는 영단어 ‘translator’를 ‘번역자’ ‘번역가’ ‘번역’ ‘통역자’ ‘통역’으로만 이해한 부분이 아쉬웠다. 구글과 파파고가 직접 영어로 알려준 문장을 다시 한국어로 바꿨을 때, 처음 넣은 원문과는 다른 문장이 나온 것도 이 때문이다. 그렇다면 국산 AI인 파파고는 ‘한국적인’ 문구 번역에선 구글보다 성능이 뛰어날까? ‘노랗다’를 대체할 수 있는 ‘누르스름하다’, ‘누리끼리하다’라는 말을 번역기에 넣어봤다. 둘 다 표준어다. 번역사들이 “한국어가 번역하기 어려운 언어인 이유”로 드는 사례이기도 하다. ‘누르스름하다’는 구글과 파파고 모두 ‘Yellowish’로 잘 번역했다. 그런데 ‘누리끼리하다’엔 둘 다 당황하는 기색이 역력했다. 파파고는 ‘Nurikiri’라며 ‘항복’을 선언했고, 구글은 숫제 ‘Zulu’라는 이상한 답변을 했다.

세계 자동 통·번역 시장 2019년 8조원 규모

한국 속담을 이해하는 AI는 확실히 파파고가 한 수 위였다. ‘아니 땐 굴뚝에 연기 나랴’를 영어로 번역하자 파파고는 ‘Where there's smoke, there's fire’라며 정확하게 응수했다. 반면 구글은 ‘When there is no smoke in the chimney(굴뚝에 연기가 없을 때)’라며 엉뚱하게 대답했다. 띄어쓰기에는 둘 다 약점을 보였지만, 구글 쪽이 좀 나았다. 두 가지 뜻으로 해석될 수 있는 ‘아버지가방에들어오신다’라는 문장에 구글은 ‘My dad comes in my bag(아버지께서 내 가방에 들어오신다)’라며 한 가지 뜻만 읽어냈다. 파파고는 ‘He comes into my father's bag(그는 내 아버지의 가방 안에 들어 있다)’라는 엉뚱한 답변을 내놨다.

써본 결과 현재 국내외를 대표하는 두 번역기는 NMT의 힘으로 과거보다 뛰어난 성능을 갖췄음이 확인됐지만, 위와 같은 아쉬움도 남겼다. 물론 과거처럼 어순이 뒤죽박죽이 되는 번역에서 벗어나 비교적 자연스러운 번역이 이뤄지고 있는 점은 고무적이다. 그러나 세부적으로는 보완해야 할 부분이 곳곳에 존재했다. 번역에서 인간을 앞지른다는 것이 쉽지 않아 보이는 이유다. 번역자동화사용자협회(TAUS)에 따르면 2015년 25억 달러(약 2조8413억원)였던 세계 자동 통·번역 시장 규모는 연평균 30% 이상씩 성장해 2019년 70억 달러(약 7조9555억원)에 이를 전망이다. IT 업계 관계자는 “AI 번역은 미래형 AI 비서 서비스의 초석이 될 중요한 기술”이라며 “기업들도 보완점을 잘 알고 있다. 지금보다 향상된 번역기를 만들기 위한 업계 경쟁이 갈수록 치열해질 것”으로 내다봤다.