시그래프는 일반 기업이 참가하는 전시 코너 외에도 별도의 체험형 전시 공간인 Emerging Technologies가 있습니다. 여기에선 대학이나 기업에서 실용화 전의 첨단 기술을 선보이지요. 

 

 

오큘러스 VR이 유명해지기 시작한 2012년부터 NVIDIA는 NED(Near-Eye Display)라는 기술을 개발했습니다. 눈에 매우 가깝게 접안 렌즈를 배치한 HMD입니다. 그 첫 프로토타입은 시그래프 2013에 발표됐으며 이후 매우 넓은 시야각을 갖춘 망막 투사형 NED인 Pinlight Displays를 시그래프 2014에, 라이트필드를 재현하는 NED인 The Light-Field Stereoscope를 시그래프 2015에 전시한 바 있습니다.

 

 

NVIDIA의 연구 목표는 2013년부터 변하지 않았습니다. 선글래스 수준의 크기와 무게로 증강현실 AR과 복합현실 MR을 지원하며 매우 넓은 시야각을 지닌 투과형 HMD의 개발입니다. 그리고 올해엔 Manufacturing Application- Driven Near-Eye Displays를 발표했습니다. 

 

 

이번 연구는 NVIDIA와 노스 캐놀라이나 대학의 공동 연구로 진행된 프로젝트입니다. 왼쪽 2명은 노스 캐놀라이나 대학의 Kishore Rathinavel와 Praneeth Chakravarthula, 오른쪽은 NVIDIA에서 HMD와 NED를 연구하는 Kaan Aksit입니다.

 

 

3D 프린터와 진공 성형으로 저렴하게 렌즈를 만드는 방법

 

첫번째 발표는 HMD에 쓰는 렌즈의 프로토타입을 만드는 기술입니다. 지금까지의 HMD에 들어가는 접안 렌즈는 시중의 양산품을 그대로 쓰거나, 특정 스펙에 맞춰 업체에 주문 제작해야 합니다. 양산품은 렌즈의 스펙이 정해져 HMD의 광로 설계가 자유롭지 않않습니다. 그래서 성능이 떨어지거나 부피가 커지거나 아니면 못생겨지지요. 주문 제작하면 이런 문제는 생기지 않지만 렌즈 설계와 제조에 많은 돈이 들어갑니다. 

 

 

그래서 3D 프린터를 이용해 렌즈를 만드는 방법을 고안했습니다. 그렇다고 3D 프린터로 렌즈를 직접 뽑아낸다는 소리는 아닙니다. 3D 프린터에 광경화 아크릴 수지를 써서 반투명 조형을 출력하는 건 가능하나, 그 투명도가 낮고 표면이 매끄럽지 못해 HMD의 렌즈로 쓰긴 힘듭니다. 출력 결과물을 연마하면 렌즈처럼 쓸 순 있어도 시간과 노력이 필요합니다. 

 

여기에서 주목한 것이 Norland Products가 만든 광학 부품용 접착제인 NOA(Norland Optical Adhesives)입니다. NOA는 자외선을 쬐면 단시간에 굳어버리는 접착제로, 다양한 스펙트럼 영역(모든 파장의 빛)에 대해 우수한 투과성을 갖춰 광학 본드로 씁니다.

 

NOA를 쓰는 대표적인 사례라면 LCD TV나 모니터가 있습니다. 영상 패널의 표시면과 투명 아크릴 판을 NOA로 붙여 베젤의 단차를 없애고 케이스를 보다 예쁘게 만드는 데 씁니다. 이렇게 흔히 쓰는 NOA로 렌즈를 만들자는 게 이 프로젝트의 핵심입니다.

 

 

NOA로 만든 광학 부품 샘플

 

 

 

이 아이디어를 구현하는데 필요한 장비는 2개입니다. 하나는 렌즈의 형상을 구축하기 위한 3D 프린터입니다. 일단 3D 프린터라면 뭐든 되겠으나 여기에선 Formlabs의 Form 2를 사용했습니다. 3D 프린터로 만든 건 어디까지나 렌즈의 형상일 뿐, 실제 렌즈를 만드는 재료는 NOA입니다.

 

 

3D 프린터로 렌즈 모양의 물건을 뽑아냈다면 거기에 액체 형태의 NOA를 부어 렌즈를 만들어야 합니다. 연마를 할 필요가 없을 정도로 매끄러운 렌즈를 만들기 위해선 진공 압력을 써서 물체를 성형하는 진공 성형 기계가 필요합니다. 이 프로젝트에선 Formech International의 Formech 508DT를 썼습니다.

 

 

원래 진공 성형기는 모양을 본뜨고 싶은 구조물에, 열을 가해 부드럽게 만든 열가소성 수지를 씌운 후, 수지가 부드럽게 움직일 동안 진공으로 밀착시킨 다음, 바로 냉각해 성형하는 도구입니다. 무슨 말인지 이해가 안된다면 위 동영상을 보세요.

 

 

이 프로젝트에선 3D 프린터로 만든 렌즈 모양의 물체에, NOA를 주입한 열가소성 수지 시트를 진공 성형기로 흡착시켰습니다. 이렇게 하면 원래 형태가 유지되면서도 매끈하게 렌즈 모양을 갖추게 됩니다. 

 

 

물론 완벽하진 않습니다. 아주 아날로그적인 방법이거든요. 하지만 양산품도 아니고 시제품을 만드는데 이 정도면 되지 않을까요?

 

3D 프린터와 진공 성형기가 저렴한 물건은 아니지만, 전문 렌즈 제조사에 렌즈를 만들어달라고 하는 것보다는 쌉니다. 그리고 연구 기관에선 흔히들 사용하는 물건이니 진입 장벽도 낮지요.

 

 

 

그렇게 해서 만든 렌즈를 장착한 프로토타입 HMD입니다.

 

 

NVIDIA는 극단적인 예시도 들었습니다. 와인 잔을 들고 있는 사람의 모습을 입체적으로 성형한 특수 광학계를 쓴 프로토타입 HMD를 전시하고, 이를 직접 체험할 수 있게 했습니다.

 

 

이 프로토타입 HMD는 특정한 형태를 상이 맺히는 부분에 넣었기에 영상에 그 형태가 보입니다. 물론 이건 전혀 쓸데가 없습니다. 다만 어떤 형태의 광학 부품이던 만들 수 있다는 과시의 의미는 있겠죠.

 

 

예를 들어 작업 중 시선을 아래로 향해 가까이를 보고, 시선을 올려 먼 곳을 보는 경우가 있습니다. 이 기술을 사용해서 특수한 형상의 광학 부품을 만들면 이런 다양한 용도에도 최적화된 광학 계통을 만들기 쉽습니다.

 

물론 이 연구의 주 목적은 어디까지나 프로토타입 제품을 쉽게 만들자는데 있습니다. 최종 양산품은 광학 제조사에 맡겨야 합니다. 

 

 

시선 끝에 이미지를 투사하는 Foveated Projection

 

두번째는 최근 HMD에서 화제인 시선 추적 기술과 관련된 내용입니다. 착용자의 시선을 추적해 그 부분을 고해상도로 렌더링하고, 그렇지 않은 부분은 저해상도로 렌더링하는 Foveated Rendering은 최근 VR 분야에서 매우 관심이 높습니다. NVIDIA도 시그래프 2016에서 Perceptually-Based Foveated Virtual Reality, GTC 2017에서는 Foveated Reconstruction을 발표한 바 엤습니다.

 

Foveated Rendering에서 시선이 향한 곳을 고품질, 아닌 부분은 저품질로 렌더링하는 기술은 레이 트레이싱과 잘 어울립니다. 그래서 레이 트레이싱 전용 연산 유닛을 탑재한 튜링 GPU에 맞춰 구현해 나갈 것입니다. 그러나 여기에서 해결할 문제가 있는데, 그건 HMD의 접안 렌즈에 존재하는 광학 해상도의 불균일성입니다.

 

 

HMD의 일반적인 접안 렌즈는 가운데에서 바깥으로 갈수록 배율이 높아집니다. 바꿔 말하면 렌즈 가운데가 해상도가 가장 높아, 영상 패널의 화소가 세밀하게 보이며, 바깥으로 갈수록 해상도가 떨어져 영상 패널의 화소가 확대됩니다. 이러면 Foveated Rendering을 써도 렌즈 때문에 큰 효과를 보지 못하게 됩니다.

 

 

그래서 NVIDIA는 영상 패널을 확대해 시야 전체에 펼쳐 보여주지 않고, 착용자의 눈이 향한 곳을 실시간으로 추적해 소형 프로젝터를 움직여 그 부분만 고품질 영상을 투영하는 방법을 고안했습니다. NVIDIA의 프로토타입은 시야를 덮는 크기의 하프 미러 스크린에 소형 프로젝터의 영상을 투사합니다. 동시에 시선의 이동을 추적해 거기에 따라 소형 프로젝터의 투사 축을 기계적으로 움직입니다. 

 

 

NVIDIA는 이 기술에 Foveated Projection이라는 이름을 붙였습니다. Foveated Rendering은 고정된 영상 패널의 경계 부분에 더 해상도가 높은 CG를 그리는 방식이지만, Foveated Projection은 그렌더링하는 그래픽의 해상도는 그대로 두고 영상 자체를 시점에 맞춰 움직이는 방법입니다.

 

 

Foveated Projection은 VR HMD에 쓰기 적합한 구조는 아니지만, 시스루 형태의 AR이나 MR HMD, 예를 들자면 망막 투사형 디스플레이와 잘 어울릴수도 있습니다. 또 기계적으로 움직이기에 내구성이 문제가 될 가능성도 있습니다. 아직은 상품화까지 거리가 먼 기술이네요.