스테이빌리티 AI가 NVIDIA H100 호퍼 80GB, A100 암페어 80GB, 인텔 가우디 2 96GB에서 스테이블 디퓨전 3의 성능을 비교했습니다.
NVIDIA H100은 슈퍼 스칼라 쿠다 프로세서에 텐서 코어를 조합했지만 가운디 2는 생성 AI와 LLM 가속을 위해 설계됐습니다. 그래서 성능이 56% 가량 높습니다.
다만 이건 파이토치를 써서 나온 결과이며, 텐서RT 최적화를 하면 A100이 가우디2보다 40% 가량 속도가 높습니다.
훈련 노드 구성할때는 비용만 저렴하다면 가우디가 더 좋은 선택지가 될수 있겠네요