키노트 영상
NVIDIA가 암페어 아키텍처 기반 하이엔드 GPU인 A100을 발표했습니다. TSMC 7nm 공정의 고급형 GPU로, 다이 크기는 826제곱mm로 볼타와 거의 같으며, 트랜지스터 수는 540억개로 볼타의 2배 이상, 메모리는 HBM2에 6144비트, 6개의 HBM 스택을 GPU에 연결하며 대역폭은 1.6TB/s, 용량은 40GB입니다. 현재 나온 칩 중에서 가장 큰 규모지요.
NVIDIA는 GTC 2020의 기조 강연을 통해 젠슨 황 CEO가 암페어에 대해 설명했습니다. 하이엔드 GPU는 GPU 컴퓨팅 시장을 우선 공략하나 나중에 그래픽카드 시장에도 진출합니다. 이번에 나온 제품은 우선 데이터센터를 공략하는 GPU 컴퓨팅용 제품입니다.
A100은 연산 성능이 높습니다. SM이 108개, 벡터 유닛은 FP32 쿠다 코어가 6912개, FP64는 3456개로, FP64에서 9.7TFLOPS, FP32에서 19.5TFLOPS의 성능을 내며 클럭은 최고 1.4GHz입니다.
NVIDIA GPU는 볼타부터 딥 러닝을 위한 텐서 연산 유닛인 텐서 코어를 탑재합니다. GPU는 기본적으로 벡터 연산을 수행하나, 텐서 코어를 결합해 딥 러닝 성능을 대폭 향상시켰습니다. 암페어 역시 마찬가지입니다. NVIDIA A100의 텐서 코어는 432개로 SM당 4코어씩 배치됩니다. 볼타는 8코였으니 텐서 코어 수가 줄어든 것처럼 보이지만 그 배치 방식이 바뀌었습니다. 볼타는 SM의 프로세싱 블럭에 16x16 텐서 유닛이 들어가고, 엠페어는 16x32입니다.
암페어의 텐서 코어는 달라진 부분이 몇 가지 있습니다. 우선 데이터 정확도에 BFloat16과 Tensor Float32이 추가됐습니다. BFloat16은 신경망에서 사용을 전제로 제안하는 새로운 부동소수점 형식입니다. 기존의 IEEE 754 부동 소수점은 FP32(32비트 단정밀도 부동소수)가 Sign 1비트, Exponent 8비트, Mantissa 23비트로 구성됐고, FP16은 Sign 1비트, Exponent 5비트, Mantissa 10비트였습니다. BFloat16은 Sign 1비트, Exponent 8비트, Mantissa 7비트가 됩니다. 데이터 크기는 FP16과 같지만 확장 범위-다이나믹 레인지는 FP32와 같아, 넓은 확장이 중요한 경우에 적합합니다.
Tensor Float32는 Sign 1비트, Exponent 8비트, Mantissa 10비트입니다. 19비트 길이의 다이나믹 레인지는 FP32와 같으나, Mantissa의 데이터 정확도는 FP16과 같습니다. FP32의 다이나믹 레인지를 도입하면서 FP16 수준의 정확도를 지키는 형식입니다. 암페어는 FP16 외에도 BF16, TF32, Int8, Int4, FP64 등을 지원합니다.
암페어의 텐서 코어는 딥러닝의 추론 처리에서 전력 효율을 높여주는 Pruning 처리를 하드웨어적으로 지원합니다. sparse 네트워크를 정리해 효율적으로 실행하는 하드웨어를 내장합니다. 그 결과 sparse 네트워크의 실행 성능은 최대 2배가 됩니다.
SM 수를 늘리고 새로운 데이터 포맷을 도입하며 sparse 제어를 지원하면서 암페어의 딥 러닝 성능은 크게 발전했습니다. 텐서 코어의 BF16과 FP16 성능은 312TFLOPS, sparse 사용 시 2배인 624TFLOPS. TF32의 성능은 평상시 156TFLOPS, sparse 에서 312TFLOPS. INT8의 정수 연산 성능은 624TOPS, sparse에서 1248TOPS가 됩니다.
볼타 아키텍처는 추론 단계의 성능이 약했으나, 암페어는 추론과 학습 모두가 강화됐습니다. 볼타 V100과 비교해서 암페어 A100은 BERT 신경망 교육에서 6배, 추론 단계에서 7배의 성능을 냅니다.
또 암페어는 텐서 코어에서 FP64도 지원합니다. 벡터의 FP64는 9.7TFLOPS의 성능을 내지만, 텐서 코어의 FP64는 19.5TFLOPS로 FP16의 벡터 연산과 같은 수준의 성능을 냅니다. 앞으로 더 많은 분야에 활용하는 것을 염두에 둔 확장입니다.
그리고 GPU 칩의 리소스를 분할해 다른 인스턴스를 병렬 실행하는 멀티 인스턴스를 지원합니다. 최대 7개의 인스턴스를 하나의 칩에서 실행합니다. NVIDIA GPU가 지금까지 큰 작업을 칩 전체에서 수행하는데 집중했다면, 암페어는 작은 작업을 병렬 실행하는 방향으로 전환하고 있습니다.
A100을 탑재한 GPU 컴퓨팅 시스템인 DGX A100입니다. 8개의 NVIDIA A100 GPU가 들어가고.
2개의 64코어 AMD 에픽 로마 CPU, NVLink 스위치인 NV스위치 6개로 구성됩니다. PCIe 4.0과 코어 수 때문에 AMD 에픽을 사용한 듯 합니다. 시스템 전체 성능은 FP16에서 5PFLOPS, 가격은 199,000달러입니다.
그리고 AI 플랫폼 보드인 NVIDIA EGX A100입니다. 엣지 사이드의 딥 러닝을 위한 제품입니다.
NVIDIA가 인수한 멜라눅스 커넥트의 스마트 네트워크 인터페이스 컨트롤러입니다. 업계 최초로 25Gb/s의 연결을 지원합니다. 25Gb/s 포트 두개가 있으며 합쳐서 50Gb/s로 운용도 가능. PCIe 3.0/4.0 x8로 연결합니다.
Jetson Xavier NX 개발자 키트입니다. 클라우드를 네이티브 지원하는 AI 애플리케이션 가속 플랫폼입니다.
