테스트를 진행한 vGIS는 iOS. 안드로이드, 홀로렌즈를 위한 건축물, CAD, 지형지리정보 AR 시스템을 개발하는 회사입니다.

 

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

 

 

 

신형 2020 아이패드 프로는 새로운 라이다 센서가 내장되어 더 발전된 AR을 약속했습니다.

기대한 대로라면 라이다 센서는 저희가 뛰어난 AR 경험을 제공하기 위해 필요한 마지막 한 조각이 될 것입니다.
 

라이다 센서를 사용하는 AR은 센서가 기존의 하드웨어와 얼마나 잘 연동되고 소프트웨어적으로 얼마나 최적화되었느냐에 따라 갈릴 것입니다. 

이번 테스트에서 자사 vGIS 를 이용하여 성능을 테스트할 것입니다.

 

 

측정 방법  

vGIS 시스템에서 GPS를 끄고 테스트합니다.

이렇게 되면 장치는 순전히 AR에만 의존해 위치를 추적하게 됩니다. 

 

테스트 장치 : 

안드로이드 : 갤럭시 S10, 갤럭시 탭 S6

iOS : 아이폰11 아이패드 프로

홀로렌즈 2 

라이카 GG04 Plus (측량기)

 

홀로렌즈2는 다중 카메라 어레이를 사용하여 월등한 추적 성능을 보이기 때문에 벤치마크 기준으로 이용했습니다. 

 

 

 

코스는 전형적인 측량 작업을 반영하여 선정하였습니다. 

평평한 지면과 도보와 주차장 같은 눈에 띄는 특징들이 있고 울타리나 장벽같은 명확한 특징도 있습니다. 

코스는 250미터 길이이며 90도 이상으로 꺾이는 코너들을 포함합니다. 

 

 

최대한 동일한 환경에서 실험을 진행하기 위해 각 장치들을 서로 부착하여 실험을 진행하였습니다. 

 

 

코스 한바퀴를 돈 후 시작점으로 가서 처음의 위치와 얼마나 어긋났는지를 측정하여 장치의 공간 추적 성능을 측정할 것입니다. 

 

 

또한 실험은 밝은 환경, 흐린 하늘, 해질녘 3가지 환경에서 진행되었습니다. 

저희는 라이다 센서 덕에 아이패드는 빛이 적은 환경에서도 훨씬 나은 공간 추적 성능을 보여줄 것이라는 가설을 세웠습니다. 

 

테스트 결과 

명백한 결과가 나올것이라 예상한 것에 비해 실제로는 다소 애매하게 결과가 나왔습니다.

 

Precision(정밀성) Accuracy(정확도)의 차이를 설명하기 위한 그림
정밀성이 높을수록 탄착군이 잘 모여있고, 정확도가 높을 수록 전체적으로 중앙에 가깝다고 보시면 됩니다. 

 

수치가 낮을수록 좋은것입니다. 

 

정확도 

정확도 결과는 테스트마다 조금씩 달랐지만, 70~75%의 경우 안드로이드가 iOS 장치에 비해 높은 정확도를 나타냈습니다. 이는 코스 한바퀴를 모두 돌았을때 마커가 처음 시작 마커와 가까웠다는것을 의미합니다. 

 

 

 그러나, 안드로이드 장치가 추적을 제대로 못할때는 iOS 장치보다 큰 폭으로 오차가 나타났습니다. 

2번의 경우에서 갤럭시 탭S6는 처음 시작 위치에 비해 3.5미터가 멀어진 결과가 나왔습니다. 

 

놀랍게도, 아이패드와 아이폰은 거의 동일한 오차를 보였습니다.

일관적으로 약 250미터의 코스를 완주했을때 아이폰과 아이패드는 동일한 마커 위치에 약 1.2미터의 오차가 생겼습니다. 

이로 인해 두 장치가 동일한 추적 알고리즘을 사용하며, 놀라울 정도의 일관성을 보인다는 것을 알 수 있었습니다.

 

정밀도

iOS 장치들이 눈에 띄게 더 정밀했습니다. 대부분의 마지막 마커 위치는 아이폰과 아이패드 둘 다 지름 40센치 이내였습니다.  

 어떤 특이치도도 발견하지 못했으며, 마지막 라인을 그릴 때 즘에도 거의 같은 위치에 라인이 그려졌습니다. 

 

iOS 장치들은 마치 서로가 클론처럼 비슷했던 반면, 안드로이드 장치들은 마지막 라인이 서로 동일한 위치에 그려지는 일이 거의 없었습니다. 타겟에 가까이 갔어도 안드로이드 장치들은 목적지에서 벗어났습니다. 

 

오차 수정

보통, 카메라를 이용한 공간 추적은 장치들이 3차원 위치 상에 가상의 웨이포인트를 찍는것에 의지하게 됩니다. 장치가 이전에 포착했던 광경을 다시 보게 되면, AR 오버레이를 추적중인 웨이포인트에 맞춰 정렬합니다. 

 

250미터의 거리는 보통의 장치가 감당할 수 있는 한계를 넘어선 듯 합니다.

안드로이드 장치들은 테스트중에 오차 수정을 하여 AR 오버레이가 도중에 이동하였습니다. 

몇몇 경우에 오차 수정에 최대 4초가 걸리기도 하였으나 작동하였습니다. 

해당 테스트에선 오차 수정 오류가 생기지는 않았으나, 안드로이드 장치에서 드문 일이 아닙니다.

 

반면에, 아이패드와 아이폰은 처음 시작점에 왔을때 오차 수정이 없었습니다.
이는 iOS (그리고 ARKit)은 세션 공간 웨이포인트를 사용하지 않거나, 안드로이드보다 메모리에서 빨리 지워버리는것으로 보입니다.

 

AR 경험의 품질

테스트에서 알 수 있었던 두 플랫폼의 차이로 AR 사용자 관점에서의 품질을 알 수 있었습니다.. 

물론 저희의 테스트에서 나타났던 차이는 실생활에선 작을 수 있습니다. 

 

아이패드와 아이폰은 눈에 띄게 부드러운 AR 경험을 제공했습니다. 

iOS에서의 AR 뷰는 더 부드럽고 반응성이 좋았습니다. 실제로, 자체 탑재된 카메라앱을 쓰는것만큼 부드럽게 작동했습니다. 

 

반면에, 갤럭시 S10과 탭S6는 약 50미터를 걷자 느려졌고, 하드웨어가 AR을 처리하는것을 버거워하는듯 프레임이 이따금 멈추거나 스킵되었습니다. 

 

iOS에서는 오차 수정이 없었다는 점과 더불어, 안드로이드의 버벅이는 AR 경험에서 저희는 ARCore (안드로이드 AR API)가 ARKit(iOS AR API)보다 공간 웨이포인트를 추적하는데 나은 성능을 보여주었는지 의문이 들었습니다. 

더 나은 센서와 ARKit의 이미지 처리가 장기적 공간 메모리의 부재를 만회하고, 이는 더 정밀하고 일관적인 결과를 보여주었습니다. 

 

라이다 테스트 : 아이패드 vs 아이폰 

라이다가 탑재된 아이패드와 아이폰의 AR 성능 차이가 거의 없다는 것을 알게 되었습니다.

많은 경우에서, 두 기기는 직경 30센티 이내의 결과 오차를 보여주었습니다. 이런 유사성이 애플이 아직 라이다를 공간 추적 알고리즘에 적용하지 않고, 다른 iOS 디바이스에 이미 적용된 추적 시스템을 사용하는것을 알 수 있습니다. 

 

저조도

저조도에서는 AR 성능이 크게 차이납니다. 해가 저물고 어두워지기 시작할 때 저조도 환경은 안드로이드 장치들이 초점을 잃고 괴로울 정도로 잦은 오차를 야기했습니다.

그 결과 S10과 탭S6는 주변 추적을 중단하였습니다. AR 오버레이들은 유리창에 붙은 파리처럼 화면에서 더이상 움직이지 않았습니다. 

 

그러나 iOS 기기들은 계속하여 동작했습니다. 수직 평면과 빛이 있다면 아이패드와 아이폰은 계속해서 동작했습니다. 밤에서 iOS 장치들의 성능은 놀라웠습니다. 칠흙같이 어두울 때도, 두 기기는 간신히 주변을 추적해냈습니다.

 

열린 공간으로 갔을 때는 다른 양상을 보였습니다. iOS 기기들은 휑한 주차장에서는 추적 품질이 떨어지고 갤럭시 S10에 비해 아주 약간 나은 정도였습니다. 

 

예측대로라면 라이다는 가시광선에 의존하지 않기 때문에 밤에 더 나은 성능을 보여주어야 합니다. 그러나 저희 실험에선 이렇지 않았습니다. 아이폰이 감탄할 만하게 잘 동작했고 테스트 과정 중에 아이패드와 아이폰 사이에 어떠한 눈에 띄는 차이도 발견하지 못했습니다. 

 

홀로렌즈

몇번의 연구에서 보여주었듯이, 마이크로소프트 사의 홀로렌즈와 홀로렌즈 2는 멀티카메라 어레이 덕에 월등한 추적 성능을 보입니다.홀로렌즈의 카메라 배치와 공간 추적 기능이 안드로이드와 iOS 장치와 많이 다르기 때문에, 저희는 홀로렌즈2를 벤치마킹 용도로만 사용했습니다. 

 

짧은 거리를 이동하는 동안에는, 홀로렌즈 2는 눈에 띄는 오차수정이 없었습니다. 

먼 거리를 이동할 수록 조금씩 오차가 일어났고, 특히 휑한 주차장에서 더욱 그랬습니다. 그러나 익숙한 환경에 들어서자 오차는 금방 수정되었습니다. 저희는 정확도, 정밀도, 오차 수정 면에서 홀로렌즈2는 두 안드로이드, iOS 기기보다 훨등하다는 것을 확인했습니다.

 

홀로렌즈2는 저조도에서 안드로이드 장치에 비해 나은 성능을 보였지만, 아주 어두운 환경에서는 아이패드와 아이폰의 성능에 대적하지 못했습니다. 

 

 

예상치 못한 결과들

테스트에서 라이다가 AR을 보조하는것이 아닌 AR을 라이다를 보조하기 위해 사용하는것을 알게 되었습니다. 

저희는 어두운 환경에서 라이다를 이용해 3D 메쉬를 생성을 시도했습니다.

빛이 적거나 어두워 공간 추적을 제대로 할 수 없을때는 라이다 스캐닝도 버벅였고, 카메라 추적이 정상적으로 동작할 때 스캐닝을 계속하였습니다.

명백히 라이다는 AR에 의존하며, 공간 추적이 제대로 이뤄지지 않을때는 동작하지 않습니다.

만약 이 결론이 사실이라면, 이는 다소 실망스럽습니다. 저희는 라이다가 저조도에서 공간 추적 능력을 향상시킬 것으로 기대했기 때문입니다. 

 

또다른 발견은 어두운 환경에서의 아이폰의 추적 성능이 안드로이드의 그것보다 뛰어나다는 것입니다. 심지어 카메라가 완전히 가려진 상태에서도, 아이폰은 일정시간동안 정확한 공간 추적을 계속했습니다. 추적에 불확실성이 있었음에도 계속해서 동작하였습니다. 

이를 통해 애플이 더 정확한 하드웨어를 아이폰에 집어넣거나 내부 센서를 훨씬 더 효율적으로 활용해낸 것으로 보입니다. 같은 상황에서 안드로이드 장치들은 오차가 생기거나 멈춰 버립니다. 이를 통해 안드로이드의 추적이 대부분 카메라에 의존하고, iOS는 다양한 센서를 이용해 AR을 안정적으로 추적하는것을 알 수 있습니다. 

 

마지막으로  갤럭시 탭S6의 AR 성능은 다른 장치들에 비해 떨어졌습니다. 더 오래된 장치인 갤럭시 S10보다 뒤쳐졌고,  iOS 장치에 비해 정밀성과 유저 경험면에서 뒤떨어졌습니다. 

저희가 여태것 테스트한 장치 중에 정확도와 정밀도가 가장 떨어졌습니다. 게다가 저조도 상황에서 카메라는 금방 초점을 잃었고 초점을 회복하지 못했습니다. 

 

결론

수많은 기업에서 라이다 스캐너는 불가능을 가능으로 만들고 있습니다. 무인 자동차들은 많은 기능들을 라이다에 의존하고, 하드웨어 OEM, 소프트웨어 개발자, AR 프레임워크 개발 회사들에 의해 라이다 기술은 AR 세상에도 혁신을 일으킬 것입니다.

 

그러나 아이패드 프로에 적용된 라이다 센서는 기대에 미치지 못했습니다. 라이다 센서가 표면 스캔이나 거리 측정을 향상시켰을수는 있습니다. 그러나 공간 추적에 있어서는 거의 효용이 없어 보입니다. 아마 애플이 아직 라이다 센서를 완전히 활용하지 않고, 새로운 하드웨어의 능력을 완전히 뽑아내지 않은것일지도 모릅니다. 그러나 한 편으론 단순히 라이다 센서가 공간 추적을 향상시키는데 소용이 없고, 다른 기술이 필요한 것일 수도 있습니다. 

 

아이패드의 AR 경험은 균일한 조도의 실내, 수직 면, 그리고 짧은 이동 거리에 최적화 되었습니다. 그러나 하드웨어 플랫폼에서, 아이패드는 야외에서도 많은 장점을 제공합니다. 그런데 라이다 센서를 공간 추적에 활용하지 못하는 점은 놓친 기회로 보입니다.