https://gigglehd.com/gg/mobile/11233645 

 

작년 Jetson 라인업의 최신작 Orin이 발표되었고, 이번 GTC이후 리뷰어들에게 제품이 전달되서 성능이 나오고 있습니다. 

 

가장 높은 모델인 AGX Orin 기준, A78E MP12 (4코어 클러스터 x3) + Ampere 16 SM (2048 cuda코어) 입니다

 

 

 

CPU 싱글코어 성능은 그냥저냥 입니다. 아무리 A78E라는 최신 아키텍처를 사용했더라도 절대적인 클럭이 2Ghz로 높지 않습니다. 700점 중반대면, SD855의 빅코어(A76@2.8Ghz)수준

 

다만 멀티코어는 12코어 구성답게 7000점, 9700k, 3600XT. 5800H와 비슷합니다. 특이(?)한 것인지, A78E라고 아키텍처를 밝히고 있으면서 SMT지원 없는 12쓰레드 구성이라고 합니다. 

 

 

 

Jetson 자체가 엣지 컴퓨팅에서 Nvidia의 CUDA를 사용하기 위해서 나온 물건이기에... SBC중에서는 매우 충실합니다. 2048 Amepre CUDA코어 + NVDLA v2 (Nvidia의 Jetson 라인업에만 들어가는 NPU) + 64 Tensor Core 구성으로 순수 GPU의 FP32 성능만 5.3Tflops라서 M1 pro의 16코어 GPU모델과 비슷합니다. 

 

Nvidia에서 밝히는 최대 ML성능은 INT8 Sparse 기준 275 TOPS로 전작인 Xavier대비 x3.3배, 향후 S/W 최적화가 비슷한 수준으로 이루어지면 최대 x4.9배 정도 까지 높아질 것으로 예상합니다. (안드로이드쪽 최신 AP가 수십 TOPS, Google이 edge TPU라고 출시하는 제품이 4TOPS정도 됩니다. ) 

 

Nvidia특유의 과대포장은 걸러야 하겠지만 (Sparse OPS 같은...), FP32만 보더라도 1660Ti급 성능이라, INT8 Quantization 같은 기교(?)없이도 웬만한 ML모델 구동에는 문제 없을 것 같습니다. 사실 edge단에서는 GPU의 성능보다는 메모리 제약이 크지만, 네트워크 연결 없이 단독 동작해야 하는 상황에서는 선택지가 몇 없는 상황.... 

 

아이러니 하게도, AP특유의 CPU+GPU 통합 메모리 구조이기 때문에 64GB모델은 A100 80GB모델 다음으로 많은 VRAM을 사용할 수 있습니다. (LPDDR5와 HBM의 속도차는 제쳐두면 말이죠...)

 

 

 

 

 

 

 

전체적인 성능은 손바닥 크기 SBC의 성능으로는 꽤나 높다고 할 수 있겠습니다만, 가장 높은 모델 기준 1599$는 정말 필요한 사람 외에는 구매하기 힘든 가격대죠. 

 

장난감으로는 내년 출시 예정인 Nano Next를 노려봅니다만, Orin 자체도 다양한 컷칩으로 판매하고 있습니다. 

 

 

p.s Nano Next는 99~199$를 커버할 라인업이니....  2 SM구성의 풀칩을 2개 라인업으로 나누어 팔면, 현재 TX2 NX~Nano랑 CUDA코어수는 거의 같게 되지만..... 그래도.... 4 SM 정도 구성으로 나와주었으면 합니다.