인텔에게 돈을 얼마나 받았길래...

아이스레이크 발표했을 때 성능이 높다고 한 거 상당수가 AVX512 빨이었지요. 원문 끝에 논문 링크가 있던데 거기에서도 AVX512를 썼다고 말하는 듯 합니다.

보니까 원본 논문 주소가 있군요. 정확히 아시려면 한번 논문을 보시면 될 거 같습니다. 저는 피곤해서 도망을... ( ' ')

경험상 아마 자신들에게 유리한 네트워크와 데이터 구조를 골랐을 것은 같습니다. 뭐 그랬다고 하더라도 현실에서 쓸모가 없어지는 건 아닌데요.

주요 골자는 locality-sensitive hashing을 통해서 다뤄야하는 신경망을 sparse하게 만들고, 이를 통해 CPU에서 GPU에 준하는 성능(나이브하게 구현할 경우)으로 비벼보겠다는 이야기입니다. 이 논문은 거기에 BF16 + AVX-512를 끼얹어서 최적화하는 것이 주요 공헌이구요. 뭐 잘 아는건 아니라서 대충 훑어보는 수준이지만..

참고로 LSH를 통한 sparsity 증가는 다른 NN의 개선에도 사용됩니다. (e.g. Reformer; Kitaev et al., 2020)

평가에는 FCNN으로 분류기를 구현한 2개랑 text8... 그러면 distributed word representation (word2vec)을 사용했네요. 마지막 word2vec은 아시다시피 cpu로 충분히 빠른 시간 내에 획득할 수 있는 거라... 공교롭게도 나이브한 구현체에서도 text8은 GPU보다 빠르다고 나오죠? 최적화해서 캐스테이드에서 9배, 쿠퍼에서 15배.

논문에 대한 평가는 제가 그럴 깜냥은 안되니 뭐라 말씀은 못드리겠고..

돈으로만 생각해볼까요. 쿠퍼레이크 뭐시기를 썼는지는 모르겠지만 28코어에 대충 L3이 38MB에 달한다는걸 보면 제온 플래티넘 8376H나 HL, 또는 8380H/HL일 가능성이 높습니다. 이걸 4개 꼽았다고 했군요.
가장 저렴한 8376H가 RCP 기준 $8179, ... 계산하기 귀찮으니 4개 해서 $30K 나왔다고 하고.
한편, 캐스케이드는 8260L을 썼다고 했으니 대충 RCP 기준 $7705, 2개 꼽았으니 대충 $14K라고 칩시다.

음... 대충 $14K 정도면 V100 32GB PCI 한대 삽니다. A100을 사도 되죠. 그리고 잘 만들어진 텐서플로나 파이토치를 고생하지 않고 쓸 수 있습니다.
대부분의 최적화 비전문가가 경험하는 naive implementation에서 이득은 최고 잘한게 FCNN에서 1.44배... 저라면 그냥 $14K로 V100이나 A100쓰고 대충 구현하는게 ... 낫겠죠. A100에 대충 apex 한줄 끼얹으면 BF16은 자동으로 따라오는거니 죽어라고 최적화 한 것의 격차는 더 좁혀질 가능성이 높다고 여겨집니다.

그냥 이렇게 GPGPU 안쓰고 이런 시도도 가능하고 개선시켜 나가질 것이다 이런 관점에서 보시면 됩니다. 하다보면 언젠가 더 쓸만하게 편리하게 하이레벨 프레임워크 수준에서 접근할 수 있는 날이 오겠죠. GPU는 GPU 나름대로 Sparse NN에 대한 가속 능력을 강화하고 있고, 해당 논문등에서도 언급되는 multi-billion 파라미터 NN 핸들링을 위한 VRAM 부족문제는 vertical/horizontal 두 수준에서 모두 sharding을 통해서 접근되고 있습니다. 거기에 optimizer를 위한 가중치 쪽은 CPU off-loading과 같은 양념이 더해져서 슬슬 해볼만한 수준까지 내려왔구요.

사실 ML 신경망중에는 무슨 수를 써도 '고작 100GB' 수준 메모리에는 올라가지 않는 애들도 있긴 합니다;; 영상인식 이런것 말고 언어처리 이런것들이 그렇죠. 아무리 GPU에 연산기를 박아 빡세게 해봤자, 단일 메모리 공간에서 느려터진 CPU가 하는게 결과적으로 더 빠른 물건들도 있지요. 사실 쓰루풋이 아니라 반응속도가 중요하다고 하면 1.x배 성능 개선도 적은건 아니니...

기존 GPU기반에서 하던 쪽은 메모리 압박을 줄이기 위해 최대한 해싱에 집중하고, CPU쪽은 침투하기 위해 locality높은 부분의 강점을 살리며 벡터유닛에 유틸리티를 포함시켜 대응하고...etc. 아예 마켓에 진출 못한 RISC-V계열은 CPU인척하는 GPU를 만들고...혼돈의 21세기 컴퓨팅세상