삼성의 놀라운 AI기술. 가상인간 합성 기술

요새 로지나 루시처럼, 인간과 정말 똑같은 가상 인간 인플루언서의 활약이 늘고 있죠. 이렇듯 버추얼휴먼 제작 기술이 고도화 하고 있습니다. 이런 기술 중 하나가 정지된 2차원의 이미지 정보만으로 3차원 이미지나 영상을 만드는 렌더링 기법입니다. 이를 통하면 사진 한 장만 있으면 실제 사람 같은 가상인간을 만들 수 있습니다.

 

최근 삼성 AI 연구센터에서 이같은 렌더링 기술 논문이 나와서 화제입니다. 정지된 이미지를 기반으로 움직이는 실제 같은 고화질 '뉴럴 아바타' 영상을 만들 수 있는 AI 모델을 제시하였습니다.

 

뉴럴 아바타는 AI 기술을 활용해 2D 정보를 기반으로 만든 3D 아바타입니다. 삼성은 이 기술을 수년 간 꾸준히 연구하였다고 합니다. 2020년엔 삼성 AI 포럼에서 이 뉴럴 아바타를 공개하기도 했습니다. 세계의 일곱 곳에 삼성 AI 연구센터가 있는데, 러시아 모스크바센터가 이 연구를 주도하고 있다고 합니다.

 

 

삼성 AI 연구진은 논문에서, 고화질 이미지 데이터와 중화질 영상 데이터를 합쳐서 새로운 아바타 영상을 제작하는 법을 소개했습니다. 중간 화질 영상을 학습한 모델이 고해상도 이미지 데이터를 활용해 고화질 아바타를 만들어 냅니다. 연구지는 이 기법에 '메가픽셀 포트레이트', 줄여서 '메가포트레이트'라는 이름을 붙였습니다.

이는 움직이는 영상을 새로 합성하기 위해 많은 이미지 데이터가 필요한 대부분의 기존 방식보다 훨씬 쉽다고 합니다. 합성 이미지 재료로 정면을 보는 상반신 사진 딱 한 장만 있으면 됩니다. 참으로 놀라운 세상이네요.

 

기술의 세부를 한번 들여다 봅시다. 이에 따르면 AI 모델이 영상 데이터에서 얼굴 움직임과 표정 등을 추출, 학습해서 '드라이버 프레임'을 만듭니다. 눈웃음, 찡그림, 끄덕임 등을 표현할 때 각각 어떤 그래픽을 써야 하는지 그 기본 뼈대를 여러 개 확보해 놓는 과정입니다.

이 ‘뼈대’에 AI가 이미지 데이터를 바탕으로 파악한 아바타 외형을 더하면 움직이는 영상 아바타가 나옵니다. 일부 빈 정보는 AI 알고리즘이 채우기도 합니다. 아바타가 고개를 돌리는 장면을 구현하기 위해 정면을 보고 있는 원본 사진에 나오지 않았던 옆얼굴 그래픽을 만들어내는 식입니다.

 

 

연구진은 뉴럴 아바타의 시선 그래픽을 개선해 보다 실감나는 가상인간을 구현하는 기법도 개발했습니다. 기존 가상인간 그래픽이 아직 실제와 가장 다르다고 지적받는 눈빛을 보다 생동감있게 표현하기 위해서입니다.

메가포트레이트는 AI가 핵심 내용만 압축해 모델을 경량화하는 지식 증류 기법도 활용합니다. 특정 영상을 학습해 표정과 움직임 등을 새로운 이미지에 빠르게 적용할 수 있도록 하기 위해서입니다. 이를 통하면 전·후처리 작업이 없이도 실시간으로 가상 아바타 영상을 만들 수 있습니다.

연구진은 이를 적용한 사례로 한 남성의 영상이 영화 배우나 서양화 인물 등의 외양에 적용된 모습을 시연했습니다.

 

삼성리서치는 이 뉴럴 아바타가 줌과 같은 화상회의에서 쓰일 수 있을 것으로 전망했습니다. IT업계에선 이 기술이 증강현실이나 메타버스에서도 쓰일 것으로 보고 있다네요.

 

이 뉴럴 아바타가 실제 이용자의 입모양까지 실시간으로 구현한다면 훨씬 실감나는 상호작용을 할 수 있을 것입니다. 그러면 메타버스가 더욱 실제적인 느낌을 가지게 되겠죠. 

 

 

하지만 부작용 우려도 많습니다. 이런 기술이 보편화될 경우 초상권 침해나 '딥페이크' 기반 가짜 뉴스 등이 쏟아질 우려가 있습니다. 또한 온라인 연인 관계를 빙자하거나 가족 관계를 사칭하여 사기를 칠 우려도 많겠죠.

 

특히 한국은 지금도 보이스 피싱 등이 많은데, 이런 기술을 통해 또 어떤 사기들이 활개칠지... 

누군가가 온라인에서 전혀 다른 사람인 척 하면서 남들을 속일 수 있으니 조심해야 할 것입니다. 기존엔 전화·채팅 사기에 그쳤던 것들이 영상 기반으로까지 퍼질 수 있다는 경고입니다. 특히 요즘은 SNS나 메신저를 통해 다른 이의 사진을 쉽게 구할 수 있어 이같은 문제가 빠르게 확산할 수 있습니다. 이 아래는 톰 크루즈의 딥페이크 영상입니다. 이미 이 정도 수준이니, 우리는 페이크 영상에 속지 않도록 해야 할 것입니다.

 

정말 소름돋게 똑같네요. 이상 석아산이었습니다.

너무나 더운 여름, 모두 건강 조심하시와요^^