사람 몸에 얼굴만 가짜로 합성했는데 이게 어떻게 가상인간일까?

가상인간이라니 무섭다 표정이 전혀 이질감이 없고 친근하기까지 하다.

“사람의 몸에 얼굴만 가짜로 합성한 데, 이것이 어떻게 『 가상 인간 』인가?” 실시간으로 소통하는 “가상 인간”이 생방송 뉴스까지 출연하는 화제다.실시간으로 얼굴의 표정과 눈동자의 움직임까지 섬세하게 표현하는 기술력에 ” 놀라운 “이라는 반응도 있지만 이에 대한 반론도 적지 않다.몸과 목소리는 사람의 모델이 연기하기 때문에 가상 인간이 아니라는 반론도 계속된다.다가온 가상 인간을 놓고 갑론을박이 벌어지고 있다.하루, 인공 지능(AI)그래픽 전문 기업<펄스 나인>의 가상 인간”제인”은 YTN이 “뉴 슬라이더”코너에 출연했다.제인은 약 10분간 생방송으로 진행된 인터뷰에서 가상 인간의 역사와 제인이 소속된 가상 인간 걸그룹”에타ー니티”에 대해서 소개했다.현재 YTN공식 유튜브 채널에 실린 제인 인터뷰 관련 영상 재생 횟수는 누적 2만회를 달성했다.

지난 1일 YTN 뉴스에 펄스나인의 가상인간 ‘제인’이 출연했다. [펄스나인 제공]

펄스 나인은 생방송 출연 때문에 “딥 리얼 라이브(LIVE)”기술을 새로 개발했다.실제로 사람의 몸에 1초당 30프레임으로 실시간 합성(페이스 스와프) 하는 기술이다.실제로 대역의 표정과 가상 표정의 차이를 “투명도 브랜드(opacity blending)”에서 보완하고 사실성을 높였다.별도의 장비 없이 펄스 나인의 변환 프로그램이 설치된 컴퓨터를 연결해서 송출할 뿐이다.인터뷰를 본 누리꾼들은 갑론을박을 벌이고 있다.자연스러운 모습에 놀랍다, 무섭다는 반응부터 “제인”을 가상 인간이라고 정의할 수 있냐는 비판까지 다양하다.일부 누리꾼은 “얼굴만 가상의 이야기는 사람이라 일종의 『 딥 페이크 』과 얼굴을 바로잡아 주는 『 페이스 애플리케이션 』에 불과해『 가상 인간 』가 아니다”라고 지적했다.펄스 나인 관계자는 “딥 페이크는 실존 인물을 AI로 구현하는 것이며, 자사 기술은 AI가 만든 가상의 얼굴을 실제 사람의 몸에 합성하는 기술에서 초상권 문제가 없다는 점이 차이”이라고 말했다.이어”사람의 표정까지 정교하게 따라가다, 텔레비전 채널을 통해서 방송할 수 있는 점 등에서 페이스 필터와 다르다.대부분의 페이스 필터가 “정면”만으로 작동하는 것과는 달리 펄스 나인 기술은 옆 얼굴도 얼굴이 무너지지 않고 구현되는 “이라고 설명했다.업계는 실시간으로 소통하는 가상 인간을 만들기 위하여 노력하고 있다.또 다른 업체”딥 브레인 AI”는 대화도 AI가 진행된다”AI휴먼”솔루션을 공급 중이다.사람의 모델을 스튜디오에서 촬영하고 채팅 봇을 붙이고 1초 이내에 응답할 수 있도록 했다.최근”AIA생명”유튜브 채널에 등장한 “AI성·훈 민”이 대표적인 예다.박·지영 [email protected]출전:헤럴드 경제(2022.08.02)박·지웅팔스나잉 대표 박· 지은 대표는 동덕 여자 대학교 산업 디자인과를 졸업한 뒤 CJ ENM홍보·마케팅 담당으로 일했던 뒤 네이버 해피 빈에서 프로덕트 매니져(PM)으로 활동했다.IT업무를 하면서 기술에 매료되어 서울 과학 종합 대학원에서 빅 데이터 MBA과정을 공부했다.세무 채팅 봇으로 석사 논문을 내고 AI채팅 봇을 개발하던 중 서울시에서 R&D비용으로 1억 2000만원의 지원을 받은 것이 펄스 나인을 창업한 계기가 됐다.

인공 지능(AI)그래픽 전문 기업 펄스 나인이 가상 아이돌”에타ー니티”을 만들어 업계 주목을 끌고 있다.11명의 멤버로 구성된 에타니티은 올해 3월 첫 뮤직 비디오”I’mreal”을 공개하면서 세계의 다양한 팬을 확보했다.아임 리얼은 11월 기준으로 유튜브 조회수 88만건을 기록했다.특히 펄스 나인이 업계의 주목을 끄는 이유는 게임 회사의 엔진을 사용하는 타사와 달리 독자 개발한 엔진을 활용했기 때문이다.에타ー니티은 실사형 가상 인물의 이미지를 생성한 후 이곳에 직접 촬영한 실제 인물 영상을 합성하고 제작됐다.IT조선은 펄스 나인의 박·지은이 대표 연구소가 위치한 서울 강남구에서 만나고 초기의 가상 인간 시장에 뛰어든 계기가 향후 가상 인간 시장을 어떻게 이끌어 갈 계획인지, 회사의 비전을 물었다.박· 지은 대표는 2017년 7월에 펄스 나인을 창업했다.9년간 직장 생활을 하고 들어간 AI빅 데이터 대학원에서 딥 러닝을 처음 접했다.당시 대학원에서 딥 러닝 알고리즘을 배웠는데 이것이 무엇인지 제대로 설명하고 주는 사람도 없고 스스로 공부를 시작했다.박 대표는 토론과 논문 공부, 서울시 창업 경진 대회 수상을 거치면서 자연 딥 러닝 연구자가 됐다.처음 창업을 시작한다고 선언했을 때 주변 사람들의 반대가 쉽지 않았다.이런 이유로 박 대표는 후배 창업인들에게 “창업을 하면 힘든 일도 많은 책임을 져야 하는 것도 많아지지만 그래도 창업이 꼭 하고 싶다는 생각이 들면 창업을 한다고 권하고 싶다”로서 “즉 『 책임감 』이 창업에서 가장 중요한 자세이다”라고 강조했다.한명 창업으로 시작한 기업은 사업자 등록 법인 등록을 거쳐서 규모가 점차 커지고 갔다.지분형 클라우드 펀딩에서 인간과 AI가 접목하는 프로젝트를 진행했지만 시장에 큰 인기를 끌어서 전 직장 동료들을 모아 팀을 구성했다.펄스 나인이 주력으로 하던 AI그래픽 전문 소프트웨어는 가상의 이미지를 생성하는 기술이다.초기 펄스 나인은 예술 작품을 중심으로 이미지를 생성하고 기술 개발을 이루고 실제 사람과 비슷한 가상 인간의 얼굴을 만들 수 있게 됐다.이때 K팝 스타를 만들겠다는 내부 아이디어가 나오고 사업을 시작했다.이것이 가상 아이돌 산업에 뛰어들게 된 이유다.▲ 3D기획사의 높은 비용을 2D로 낮추었다=펄스 나인은 가상 아이돌 에타니티 멤버의 얼굴을 처음으로 디자인할 때 K팝 아이돌에 적합한 남녀의 얼굴을 직접 만들어 분류했다.이 20년간 K팝 스타의 변천사를 자체 분석하고 4가지 스타일로 분류한 것이다.그 이후 데뷔 직전에 팬 층을 대상으로 이상의 월드컵을 치르고 팬이 가장 많이 선택한 이미지를 데뷔 그룹에 선정했다.펄스 나인이 만든 가상 아이돌 에타니티을 개발한 엔진은 “딥 리얼 엔진”이다.2D기반의 엔진으로, 딥-러닝에 기초하여 이미지 데이터 소스 수십장만으로도 신체 변화와 특징을 학습시키고 시뮬레이션할 수 있다.언리얼 엔진과 유니티 엔진 등의 게임 기반 엔진은 게임이라는 하나의 세계를 창조해야 하며 캐릭터가 2.5D와 3D형태로 구현되어야 한다.게임 환경 내에서 캐릭터는 소실 점이나 투시도 등을 고려하고 움직여야 한다.이런 이유로 안 리얼 엔진은 숫자 데이터에 기초하고 옷 자락이 휘날리는 효과라든가 물리적 시뮬레이션이 가능한 형태이다.가상 아이돌 에타ー니티가 찍은 패션 매거진”마리 크레ー루”12월의 화보는 실제 모델의 몸에 에타ー니티멩바ー의 얼굴을 합성한 촬영물이다.펄스 나인이 얼굴 합성에 사용한 기술은 영상 촬영 후 얼굴을 딥 러닝으로 입혀기술인 딥 리얼로 새로운 가상사(VP)기법이다.지금은 얼굴만 가상화하고 일궜지만 장기적으로는 배경이나 몸, 패션이나 헤어 스타일까지 모두 가상사 기술을 이용하고 만들 계획이다.에타ー니티 이후에 등장하는 새 가상 아이돌은 남성 아이돌이다.펄스 나인은 유명 엔터테인먼트사와 협업하고 데뷔 계획을 세웠다.가상 현실(VR)전문 엔터테인먼트 등 각종 분야의 기업이 가상 아이돌 개발에 착수하고 실제로 세상에 내놓을 가상 플루엔 서와 아이돌의 수가 많아지고 있다.박· 지은 대표는 그들에 맞서펄스 나인 가상 아이돌의 장점으로 비싼 코스트 퍼포먼스를 자랑하는 딥 리얼 AI기반의 콘텐츠 생산력을 꼽았다.박 대표는 “딥 리얼 AI적용은 기존의 3D기반 VFX기술의 고비용 구조를 벗어나는 새로운 시도다”로서 “파트너사와 함께 해당 기술을 활용하고 가상 인물을 활용한 다양한 신 사업을 펼친다”이라고 말했다.그는 계속”펄스 나인은 실시간 가상 걸그룹을 세계 최초로 내었고, 해외에서 더 화제가 됐다”로 “선구자로서의 이점을 충분히 누리고 있다”고 덧붙였다.자사 IP개발력 기반으로 파트너사와 협력, 내년에는 해외 기업과의 협업이 가시화될 예정이다.예를 들면, 펄스 나인은 미국 LA을 기반으로 한 독립 다중 채널 네트워크(MCN)”콜 레버러토리”아시아 퍼시픽 지부와 업무 협약(MOU)을 잇는 협력을 하다.단순한 유통 협력이 아니라 콘텐츠나 플랫폼적인 협업이 된다는 박·지은이 대표의 설명이다.또 음원 유통, 앨범 서비스 및 아티스트 매니지먼트 기업이며, 탈 중앙화 금융(디화이)서비스”오프 라스”운영 업체인 디토 음악과도 협업하지만 내년 제1분기에 결과를 발표할 예정이다.에타ー니티가 만든 콘텐츠나 에타ー니티멩바ー의 차체를 블록 체인 기술에서 선 보일 예정이다.박· 지은 대표는 에타ー니티이 일종의 “브랜드 캠페인”였다고 말했다.박 대표는 연구 개발(R&D)차원에서 먼저 선 보인 것으로 본격적인 사업은 내년부터 시작된다는 포부를 밝혔다.그러므로 에타ー니티 IP를 만든 것처럼 타사와 IP를 공동으로 개발하고 가상 인간 IP의 허브가 되는 것이 회사의 최종 비전이다.박 대표는 “미키 마우스 등 다양한 가상 캐릭터를 자사 IP로 활용하는 월트 디즈니처럼 우리도 『 실사판 월트 디즈니 』가 되는 게 목표다”고 전했다.펄스 나인은 현재 성장기에 있는 회사이다.이런 이유로 박· 지은 대표는 리더가 되어 구성원들을 이끌기보다 각자가 자신의 역할을 책임 지고 즐겁게 훌륭하게 해내레고 같은 조직이 되기를 바란다.하나의 레고 조각이라도 빠지면 작품을 만드는 것이 어렵게, 펄스 나인의 구성원들도 서로 연대하고 모두 조직을 이끌고 바란다.레고 하나하나가 쌓이고 굳게 성을 만들도록 박·지은이펄스나인 사무실 위치 / 네이버 지도펄스나인 사무실 위치 / 네이버 지도