OctoML의 CTO가 라데온 그래픽카드에 최적화된 대규모 모델 추론 솔루션을 만들었습니다.
Llama2의 7B와 13B 대규모 언어 모델 솔루션에서 라데온 RX 7900 XTX는 지포스 RTX 4090의 82%, 지포스 RTX 3090 Ti의 94% 수준에 달했습니다. 이들 그래픽카드의 가격 차이를 고려하면 엄청난 가성비군요.
이쪽도 결국은 어떻게 최적화해서 쓰는지에 달라질 것 같네요.
참고/링크 | https://news.mydrivers.com/1/928/928788.htm |
---|
OctoML의 CTO가 라데온 그래픽카드에 최적화된 대규모 모델 추론 솔루션을 만들었습니다.
Llama2의 7B와 13B 대규모 언어 모델 솔루션에서 라데온 RX 7900 XTX는 지포스 RTX 4090의 82%, 지포스 RTX 3090 Ti의 94% 수준에 달했습니다. 이들 그래픽카드의 가격 차이를 고려하면 엄청난 가성비군요.
이쪽도 결국은 어떻게 최적화해서 쓰는지에 달라질 것 같네요.
순수하게 ALU갯수만 계산하면 7900XTX대비 3090Ti쪽이 코어수도 적고 클럭도 밀리지만.... tensor core덕으로 어찌어찌 비볐다고 볼 수 있겠고... ROCm도 정상화(?)된 마당에 AMD도 RDNA라인에 matrix core를 넣으면 DNN쪽으로 가성비가 더 좋아지지 않을까 싶군요.