위 이미지는 구글 스트리트뷰가 아니라 GTA5 게임 스크린샷을 AI가 실사 느낌으로 바꾼 이미지 입니다. 

 

 

 

 

(GTA V 게임 캡쳐 이미지)

이게 원본 스크린샷 입니다. 

 

 

 

단순히 색감을 바꿔주는것이 아니라 AI가 프레임을 하나하나 분석해 사물을 구분하여 적절한 실사화 처리를 합니다. 

잔디가 풍성해졌고, 건물을 뿌옇게 만드는 안개는 사라졌고, 도로의 표면이 부드러워 졌으며, 차량의 반사율도 낮아졌습니다. 

 

 

 

보시면 단순 색감 필터가 아닌 것을 아실 수 있습니다. 

 

 

 

(GTA V 게임 캡쳐 이미지)

 

 

(AI가 생성한 이미지) 

 

도로의 질감, 차량의 반사율, 우측 차량의 백라이트도 실사같이 바뀌었습니다.  

 

 

 

 

 

 

 

 

 

 

연구진은 AI를 훈련시키기 위해 벤츠를 타고 독일 시내를 촬영한 영상을 활용했습니다.

 

 

 

참고로 위 결과물들의 색감이 초록빛인 것은 AI 훈련에 사용된 영상이 위처럼 초록색을 띄었기 때문입니다.

다른 영상들로 훈련시키면 아래와 같은 컬러풀한 색감의 결과물도 뽑을 수 있습니다. 

 

(GTA V 게임 캡쳐 이미지)

 

 

(AI가 생성한 컬러풀한 이미지) 

 

 

 

 

연구진의 AI는 다른 뉴럴넷 파이프라인 대비 매우 안정적이고 뛰어난 퀄리티의 결과물을 내놓습니다. 

 

 

 

 

이렇게 뛰어난 수준의 결과물을 뽑을 수 있었던 비결은, 게임의 경우는 메모리 내의 G-Buffer에 이미 차량, 도로, 하늘, 수풀이 매우 정확하게 라벨링 되어있었기 때문에 그 데이터를 사용했다고 합니다. 그러니까 단순히 게임에서 캡쳐된 이미지만으로는 위 결과물을 뽑을 수 없고 메모리 내의 세그멘테이션 정보를  참조할 수 있어야 합니다. 

 

참고로 성능 최적화가 되지 않은 상태에서 RTX 3090에서 프레임당 0.5초 정도 소요되었다고 하네요. 

연구진은 기존의 게임 그래픽 렌더링 파이프라인에 위 기법을 추가하여 더욱 사실적인 그래픽을 뽑아내는데 사용될 수 있을 것으로 기대한다고 합니다.