딥페이크(Deepfakes)의 Face-Sawpping에 관해 이미 다른 포스팅에서 다뤘는데요. 이번 포스팅에선 자신의 기본 움직임에 대한 정보를 제공했을때, 몸치가 어떻게 화려한 무용수가 될 수 있는지에대한 영상을 들고왔습니다. 기본적으로 AI를 사용하여 다른 사람의 춤 동작을 읽고 대상의 몸체에 그 동작을 붙여넣기를 하는것 입니다. 이 실험은 UC Berkley의 연구원에 의해 수행되었습니다. arXiV에 게시된 논문에서는 결과를 얻어내기위해서 이 실험은 여러단계로 구성된다고 합니다. 첫번째로, 대상의 비디오가 녹화되고 서브 프로그램은 일련의 움직임들을 막대기 형태의 그림으로 바꿉니다.(초당 120 프레임으로 약 20분 분량의 영상을 얻으려면 많은 양의 비디오가 필요합니다.) 그런 다음 소스 비디오를 가지고 그 움직임으로 만들어진 막대기 형태의 움직임을 만들어서 두 영상간에 스왑을 합니다. 이로서 뉴럴 네트워크는 타겟 비디오의 대상을 막대기 형상의 움직임과 싱크되어 영상을 합성할 수있습니다.
이론만으로 설명하면 매우 심플하게 들리지만 사실 이 연구에 투입된 연구원들은 유능한 인재들입니다. 예를 들어, 막대기 그림의 움직임을 부드럽게하는 보조작업도 필요한데요, 다양한 각도에서 발생하는 무용수의 부자연스럼을 줄이기위해서 회전하는 부분에 해당하는 뉴럴 네트워크를 별도로 분리해놨습니다. 아직 기술이 완벽하지 않기때문에 이를 위해 프로그램에 제한도 걸어놨는데요, 예를 들어 네트워크가 여분이 있는 옷의 움직임까지 정확하게 모델링을 할 수 없기때문에 동영상의 대상은 타이트한 옷을 입여야한다고 합니다. 위의 비디오를 확인하시면 여전히 부자연스러운 움직이나 너무 정교한 움직을 자연스럽게 재현하지 못한 부분을 여지없이 보시게 될것입니다. 하지만 여전히 신기하기도 하고 인상적인 결과물인건 맞는것 같네요. 재미로 비디오를 시청해보시길 바랍니다.
출처 : https://www.theverge.com/2018/8/26/17778792/deepfakes-video-dancing-ai-synthesis