데이터 사이언스를 위한 워크 스테이션

NVIDIA에서 워크 스테이션이 등장합니다. NVIDIA가 주최하는 GPU 컴퓨팅 컨퍼런스 GTC(GPU Technology Conference) 2019에서 데이터 사이언스를 위한 워크 스테이션을 시장에 제안했습니다. NVIDIA가 레퍼런스 디자인을 제공하고 델, HP< 레노버가 실제 워크 스테이션을 판매합니다.

 

 

이 워크스테이션은 NVIDIA의 시각화 연산 그래픽 카드인 쿼드로 RTX 8000이나 6000을 2개 탑재합니다. 2대의 쿼드로 RTX는 NVLink으로 연결되며 최대 96GB의 메모리를 공유합니다. 연산 성능은 최대 260TFLOPS(FP16)입니다. 머신 러닝의 추론은 8비트 정수 522TOPS, 4비트는 1,044TOPS입니다.

 

 

여기에 CUDA에 머신 러닝을 위한 라이브러리인 CUDA-X와 관련 툴을 미리 설치합니다. NVIDIA는 자신들이 제공하는 CUDA 라이브러리를 정리해 CUDA-X라고 이름지었습니다. 

 

 

NVIDIA가 이렇게 과감한 워크 스테이션을 내놓은 배경에는 급격하게 발전한 데이터 사이언스 연구가 있습니다. 데이터 사이언스는 데이터를 분석하고 이해하기 쉬운 형태로 가공하며 분석을 위한 알고리즘의 개선과 개발을 수행합니다. 시각화가 사업 계획을 비롯한 의사 결정을 쉽게 도와주기에, 머신 러닝을 통해 사용자 경험을 향상시키는 서비스를 개발하는 것까지 포함됩니다.

 

 

 

이러한 사업은 예전부터 존재했지만 빅 데이터와 딥 러닝에 따라 상황이 바뀌어 나가며 최근 7~8년 동안은 데이터 사이언스로 분류됐습니다.

 

 

자신이 쓸 워크 스테이션을 직접 만드는 사용자들 

 

컴퓨터 사이언스가 컴퓨팅 집중 시대의 과학이라면, 데이터 사이언스는 데이터 집중 시대의 과학입니다. 데이터 사이언스의 업무는 머신 러닝으로 방대한 데이터를 분석하고 새로운 기능을 서비스에 구현해 나가는 것입니다. 데이터 분석가와 데이터 엔지니어의 두 가지 직종이 합쳐졌지만, 실제로는 어느 한 쪽으로 치우친 경우가 많습니다.

 

데이터 사이언스는 방대한 용량의 데이터를 처리하기 위해 무거운 작업을 수행할 계산 성능이 필요합니다. 물론 그 내용의 대부분은 신경망 처리이며 시각화가 필요한 경우도 있습니다. NVIDIA GPU가 가속을 수행하는 작업입니다. 그리고 로컬에서 그런 작업을 처리하고 싶다는 요구가 데이터 과학자들 사이에서 나왔습니다. 

 

 

미국 산호세에서 열린 GTC의 키 노트 스피치에서 젠슨 황(Founder and CEO, NVIDIA)은 데이터 사이언스 워크 스테이션의 계기를 설명했습니다. NVIDIA의 제안에서 시작된 것이 아니라, 데이터 사이언스가 이러한 워크 스테이션을 먼저 만들었다네요. 데이터 사이언스는 자신들의 로컬 환경에서 작업할 수있는 시스템을 필요로 하고 있습니다. 이런 요구에 맞춰 NVIDIA가 레퍼런스를 내놓았습니다

 

NVIDIA가 예상하는 앞으로의 데이터 사이언스 서비스 구현 사례. 오디오/비디오/영상을 인식해 거기에 맞는 음성/이미지를 생성

 

 

현재의 데이터 사이언스가 처리하는 업무. 50만개 AP의 상황을 시각화하고 분석.

 

 

워스 스테이션의 복귀

NVIDIA의 데이터 사이언스 워크 스테이션을 워크 스테이션이라는 분류에 넣으면 재밌는 상황이 생깁니다. 워크 스테이션은 한때 RISC 계열 CPU를 탑재한 제품이 시장을 지배했습니다. 이는 RISC 계열 CPU가 성능이나 기능(64비트와 멀티 소켓 등)에서 뛰어났기 때문입니다. PC보다 성능이나 기능에서 탁월한 RISC 기반의 워크 스테이션은 유닉스 계열 운영체제를 실행하며 엔지니어링과 시각화 등의 분야에 쓰였습니다. 그 시절에는 RISC 워크 스테이션과 x86 기반 PC의 차이는 CPU와 운영체제에 따라 명확하게 제품이 차별화됐습니다.

 

그러나 x86 계열 CPU의 성능과 기능이 오르며 워크 스테이션 분야까지 차지하게 됐습니다. x86으로 서버와 워크 스테이션을 구성하면서 워크 스테이션과 하이엔드 PC의 경계가 모호해져, 워크 스테이션이라는 범주의 존재감이 희미해졌습니다. 엔지니어링 분야의 컴퓨팅 워크로드를 하이엔드 PC 급 성능에서 충분히 처리할 수 있게 된 점도 큽니다.

 

이번 NVIDIA의 데이터 사이언스 워크 스테이션은 과거로의 회귀처럼 보입니다. 지금은 방대한 데이터의 병렬 처리와 신경망 작업이 매우 부담이 큰 처리 분야입니다. 현재 범용 CPU의 대부분은 이러한 워크로드를 효율적으로 처리하기 어렵습니다. 그래서 헤비 워크로드를 처리할 GPU를 탑재한 시스템을 새로운 워크 스테이션으로 성립시키려고 합니다. 그리고 그 다음은 워크스테이션을 넘어 데이터 센터의 서버까지 노립니다. 

 

 

데이터 사이언스 분야의 서버도 등장 

데이터 사이언스가 직접 작업을 처리하고 싶다는 요구만큼이나 서버에서 처리하고 싶다는 요구도 큽니다. 웹 기반 서비스로 추론 컨퍼런스를 구현하는 서버의 도입이 좋은 예입니다. 여기에서 NVIDIA는 지금의 컴퓨터 센터를 단순한 개념도로 나타냈습니다.

 

 

왼쪽은 슈퍼 컴퓨터입니다. 컴퓨팅 성능이 매우 높으며 고성능 GPU를 탑재한 구성이 많습니다. 파란색은 CPU, 녹색은 GPU로 컴퓨팅의 대부분은 GPU가 차지합니다. 물론 이건 NVIDIA의 입장이라 그림이 이렇게 나온 것도 있으나, 미국의 슈퍼컴퓨터에서 GPU가 차지하는 비중이 매우 큰 건 사실입니다.

 

오른쪽은 현재의 웹 서버에 쓰는 일반적인 구성입니다. 성능이 아주 높지 않은 CPU의 작은 클러스터를 확장한 형태입니다. 한때 SQL을 처리하는 데 치우쳤던 데이터센터에서는 고성능 CPU도 썼지만 지금은 데이터 센터의 대부분이 그냥 쓸만한 성능의 CPU 구성입니다.

 

 

NVIDIA는 데이터 사이언스 워크로드의 성능과 크기가 슈퍼 컴퓨터와 스케일 아웃 데이터 센터 사이에 있다고 봅니다. 이 수요에 맞추려면 데이터 센터에 GPU 서버 노드를 도입하는 것이 적합하다네요.

 

 

볼타 기반의 헤비 워크로드 GPU 서버로는 적합하지 않고 튜링 기반의 GPU 서버가 적합합니다. GPU 컴퓨팅 용으로 개발된 볼타는 성능이 높으나 전력 소비가 높고 가격도 비쌉니다. 반면 튜닝은더 싸고 전력 사용량도 낮습니다.

 

 

이 전략에 맞춰 파트너 회사들이 튜링 기반의 데이터 사이언스 서버를 출시합니다. NVIDIA는 시각화 처리로도 튜링 기반 RTX 서버를 발표합니다. 원래 영상 제작을 비롯한 렌더링 팜을 위한 서버였습니다.

 

 

NVIDIA의 서버용 GPU 전략은 튜링 아키텍처가 추가되면서 더욱 다양한 시장에 출시할 수 있게 되었습니다. 튜링은 그래픽을 위해 개발됐으나, 신경망 텐서 코어를 갖췄기에 서버로도 출시됩니다. 그래픽을 위한 GPU에서 그래픽 기능을 구체화하고, 신경망을 위한 기능을 더했기에 가능한 일입니다.