미국 솔트레이크시티에서 개최된 Conference on Computer Vision and Pattern Recognition (CVPR 2018)에서 독일 막스 플랑크 연구소, 미국 스탠포드 대학 연구자들이, 심도 정보가 없는 싱글 RGB 카메라 영상으로 손의 경로를 실시간 3D 추적이 가능하다고 발표했습니다. 

 

CNN 신경망에 운동학, 3D 손 모델을 조합해 해부학적으로 정확하게 손의 움직임을 실시간으로 파악해 냅니다. CNN 훈련 데이터 생성에도 신경망 네트워크를 사용, 실제 손의 사진을 통계 분포에 따라 합성한 실사 이미지로 변환해 GAN을 사용합니다. 

 

듀얼 카메라 스마트폰이 아닌 보통의 싱글 카메라 스마트폰에서도 활용할 수 있는데, 카메라 모듈만 있으면 기본적으론 다 될테니 활용 범위가 넓겠네요.