Skip to content

기글하드웨어기글하드웨어

커뮤니티 게시판 : 아주 기본적인 네티켓만 지킨다면 자유롭게 쓸 수 있는 커뮤니티 게시판입니다. 포럼에서 다루는 주제는 각각의 포럼 게시판을 우선 이용해 주시고, 민감한 소재는 비공개 게시판이나 수상한 게시판에, 홍보는 홍보/외부 사용기 게시판에 써 주세요. 질문은 포럼 게시판의 질문/토론 카테고리를 사용해 주세요.

profile
title: 오타쿠360Ghz https://gigglehd.com/gg/16121762
case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/...
조회 수 820 댓글 38

3.png

 

AMD는 INT8/FP16까지 모두 동일한 50TOPS를 제공합니다.

 
2.png

 

인텔은 48TOPS가 INT8, FP16은 반절인 24TOPS입니다.
 
1.png

 

스냅드래곤은 INT4입니다.
 
그니까... 실질적으론 저렇게까지 나와야할 이유도 없는데 급하게 만든 상황이 연출됩니다. 당장 AI 300X라는 네이밍도 누군가의 입김이..


  • ?
    고자되기 2024.06.21 16:08
    나중에 고도화된게 들어가면 전용 연산부의 성능도 중요해지겠지만
    현재로서는 별 이유도 없이 제한하고 꼽주는 형태죠

    저런게 정말로 중요해지는 그시기에도 ms와 코파일럿이 ai가공-제공업체로서 선두주자일지는 아무도 모르고요
  • profile
    title: 오타쿠360Ghz      case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2024.06.21 16:12
    스냅드래곤의 copilot + 성능 제한이던 INT4 45TOPS를 넘기면 된다! 정도였으면, 타 제조사는 지금보다 클럭만 좀 올린 형태로 리뉴얼해서 제공해도 됐던게 문젭니다. 얘네 실질 성능은 그것보다 큰 개선은 없다보니...

    자기들이 뭘 만들고 뭘 내야하는지도 감을 못 잡는거 같은데, 어째 윈모 시절보다도 더 삽질하는 느낌이 납니다.
  • profile
    빈도 2024.06.21 16:14
    꿋꿋이 fp16을 고집한 amd의 타겟이 신기하네요. copilot+의 대응을 위한 기술적인 궁여지책일까요?
  • profile
    title: 오타쿠360Ghz      case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2024.06.21 16:18
    이 부분은 오히려 AMD가 정상인데요...
  • profile
    빈도 2024.06.21 16:25
    int8 양자화에 대한 얘기였습니다. 4비트는 좀 시기상조이더라도 8비트는 꽤 대중화되는 추세던데 올려주신 스펙 상 그런 부분을 고려하진 않은 것 같아서요.
  • profile
    title: 오타쿠360Ghz      case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2024.06.21 16:32
    8bit도 나오고 4bit도 나오고 16bit까지 나오는 AMD가 정상이고, 똑같이 되긴 되는데 좀 부랴부랴 엔진 갯수 늘려서 성능 맞춘 인텔이 궁여지책쯤 되고, 스냅드래곤은 아무것도 안함이죠. 갖다 붙일 수준이 아닙니다. 지금
  • profile
    빈도 2024.06.21 16:35
    답글에 썼듯 성능 비교 측면에서 열등하다는 의미는 처음부터 아니었습니다. 단지 그런 기술적인 선택이 신기하다는거죠. 지금도 좋은 성능을 보이지만 int8 환경에서 100tops 가까운 값을 보이면 더 좋을테니까요.
  • profile
    title: 오타쿠360Ghz      case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2024.06.21 16:44
    제가 진짜 이렇게까지 설명을 해야할까 싶은데... 애플 빼고는 다른 제조사 프로파일을 아예 모르시는군요.
    기존의 XDNA 엔진에서 개선해서 XDNA2 대로 나온 걍 정규 로드맵입니다. 여타 업체들처럼 급하게 올린 라인이 아니라요. 당초 인텔이나 AMD 모두 경쟁을 엔비디아랑 하고 있지 퀄컴같이 저렇게 말도 안되는 지들식 벤치 내서 40TOPS 내면 B2B로 사기 고소 당하죠.
  • profile
    title: 오타쿠360Ghz      case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2024.06.21 16:51
    50 TOPS라는 성능도, nvidia의 NPU 디코딩 방식이 듀얼 이슈와 복잡한 파이프라인을 통한 IPC 증가로 FP16/32/64와 8까지 표준화하다보니 대응한 방식입니다. RTX 30 이후로 엔비디아는 쿠다 코어도 이중화, NPU와 RT 엔진도 이중화하여 복잡한 연산 수행시 코어의 연산 방식이 변경되는 방향으로 진행했고, XDNA 1 때 그 변화를 맞이한 대응이죠.
    양자화 이야기가 자꾸 써 있길래 하는 이야긴데, 쿠다 코어는 현재 양자화를 하지 않습니다. INT8은 양자화 연산자가 아니에요. INT8 정밀도가 워낙 낮아서 INT8의 정밀도를 올리기 위해 쿠다에서 양자화 라이브러리를 임포트 한단 소리죠.
  • profile
    Marigold 2024.06.21 16:55
    솔직히 퀄컴의 Int4 40TOPS 발표는 뭐랄까 퀄컴 정도로 성장하려면 저 정도 얼굴에 철판을 깔 수 있어야 하는구나라는 측면을 배울 수 있는 유익한 교보재였죠.(...)
  • profile
    title: 오타쿠360Ghz      case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2024.06.21 16:56
    이게 빅테크 기업이다! (절망편)
  • profile
    빈도 2024.06.21 17:05
    당연히 모르니까 질문한 거고, 그렇다고 다른 기업의 결과물이나 마케팅적 스캠에 가까운 행위에 대한 옹호는 아니었습니다. 다른 분이 잘 설명해주신 기술의 존재를 저는 처음 알았고, 들어보니 아직 출시도 되지 않은 것 같네요. 이런 게 보편적이고 상식적인 기술은 아니니까요.

    양자화와 정밀도에 대해선 제가 모델 양자화를 생각해 단어를 잘못 혼용한 것 같네요. 정밀도의 의미가 맞습니다.
  • ?
    포인트 팡팡! 2024.06.21 17:05
    빈도님 축하합니다.
    팡팡!에 당첨되어 10포인트를 보너스로 받으셨습니다.
  • ?
    uss0504 2024.06.21 22:00
    계속 지적하는건데 논란 터질 댓글 달고 질문이었습니다ㅎㅎ 하면 되는건가요? 제발 애플을 제외한 다른 소식들도 보세요. 하다못해 다 여기 사이트에 올라오는 소식들입니다.
    특정 기업을 제외한 다른 기업을 까내리는 투로 댓글을 적어두시면 되게 싸움 일어나기 쉽습니다. 뒤에 형용사 붙일 필요도 없고 질문이면 질문투로 달아주세요.
  • profile
    빈도 2024.06.21 23:17
    처음엔 그저 감상이었으니까요 ㅎㅎ 어차피 그쪽처럼 제 댓글에 정보를 주긴 커녕 이해도 못하실 분 눈치를 볼 생각은 없네요
  • ?
    포인트 팡팡! 2024.06.21 23:17
    빈도님 축하합니다.
    팡팡!에 당첨되어 5포인트를 보너스로 받으셨습니다.
  • ?
    uss0504 2024.06.21 23:46
    님 정말 대단하세요. 사람 인내심 테스트 하는것도 아니고 어쩜 그렇게 짜증나는 댓글만 다시는지.
  • profile
    낄낄 2024.06.21 23:52
    타인 비하 사유로 글쓰기 차단합니다.
  • ?
    uss0504 2024.06.21 23:56
    마침 신고글 적고 있었습니다... 하아....
  • ?
    렉사 2024.06.22 11:50
    적절하게 등장하셨네요!
  • ?
    title: 병약한디이나 2024.06.21 23:32
    저는 이제 글 제목을 보고 이 사람이 댓글에 등장할지 안할지도 맞출 지경에 이르렀습니다…
    요즘 패턴은 대충 arm윈도우 진영 관련 안좋은 소식 글이나 애플 관련 소식에서 빈깡통 지식으로 설레발치다가 다른 분들께 전문적 지식으로 얻어맞고 “암튼 질문이었는데 왜 기분나빠함? ㅎㅎ” 식으로 빠져나가는 패턴이죠
  • ?
    렉사 2024.06.22 11:52
    패턴이 맨날 똑같나 보군요.
  • profile
    Marigold 2024.06.21 16:42
    일단 보도 자료를 신뢰한다는 가정아래에는, 오히려 기술적으로는 가장 진보한 기술입니다.
    태생적으로 정밀도가 낮은 Int8와 유사한 연산 속도로 더 정밀한 FP16 연산을 수행한다는 이야기라...

    기술적으로 보면, AMD의 FP16은 개선된 방식으로서 기존 방식 FP16을 수행할 경우에는 측정은 25TOP으로 줄어야 합니다.
    그렇지만, Int8과 FP16에 대하여 복합한 하드웨어를 도입해서, Int8의 속도는 유지하면서, FP16의 정밀도를 유지한다는 것이 특징인데, NPU로는 가장 뛰어난 것은 발표상 맞습니다.
    (자일링스 인수로 얻은 결과일텐데, 자일링스가 FPGA와 그 응용에서는 가장 스텐다드 업체이니...)
  • profile
    빈도 2024.06.21 16:45
    아 그런 게 되나요? 저는 종래의 방식을 사용했다고 생각해 품은 의문인데 그런 거라면 데이터가 이해가 되나요. 뭔가 공짜 점심 같기도 하고... 정보 감사합니다.
  • profile
    Marigold 2024.06.21 16:47
    사실 아직 실물이 나오지 않아서 의문이 있기는 한데, 사용한 기반이 자일링스 기반이라서 신뢰하는 면도 있죠.
    AMD가 인수하기 이전에는 FPGA로는 업계 1위였고, 기술로는 가장 선두를 달리던 회사이니까요.

    사실 정밀도를 낮추는 것이 속도에서는 증가할 수 있으나, 연산의 정확도를 낮추는 것이라서 대형 모델도 아니고 온디바이스로 구동되는 수준의 작은 파라미터를 가진 모델을 이렇게 구동한다면 결과의 신뢰성이 많이 손상되는 만큼, 하드웨어적인 접근에서는 정밀도를 유지하면서 속도를 높이는 것이 가장 최고의 개선입니다.

    반대로, 소프트웨어에서는 정밀도를 낮추어서 수행하더라도 최종적인 결과의 손실을 최소화하는 방향으로 개선하는 것이 가장 좋은 방법이고요.
  • profile
    title: 오타쿠360Ghz      case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2024.06.21 16:54
    근데 뭐... LLM 단위에서 정밀도를 논하는 것도 좀 그렇긴 합니다. 마소가 결국 쭉 밀어대던건 LLM 뿐이었네 엔딩이 나고 있는데, 그럴거면 퀄컴이 하는 저 방향도 납득은 할 수는 있어요. 저밀도에서 대충 결과만 빨리 주면 그만이니...
  • profile
    Marigold 2024.06.21 16:57
    그렇기는 한데, LLM에 더하여 스테이블 디퓨전이니 뭐니 하면서 여러 온디바이스 모델들을 NPU로 구현한다고 그 난리를 친 것 보면 퀄컴이 그런 말을 하면 면피성 발언으로 보일 것 같습니다.(...)
  • profile
    title: 오타쿠360Ghz      case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2024.06.21 17:01
    사실 이미 면피성 발언은 커녕, 어도비도 이 아름다운 성능에 놀라지 않을까 싶어요...
  • profile
    빈도 2024.06.21 16:56
    들어보니 실물이 어떻게 나올 지 궁금해지네요. 긴 댓글 감사합니다. 정밀도를 낮춤으로써 트레이드오프나 경향성에 대해선 인지하고 있었지만, 배정밀도 시절부터 보통 그 단점을 감수하더라도 (혹은 보완하면) 높은 속도를 추구하는 게 시장이었으니까요.

    저는 50/100이 나올 수 있는 물건을 50/50으로 내놓은 줄 알았는데, 오히려 그 절반의 성능을 보였을 물건을 끌어올렸을 거라곤 생각을 못했네요.
  • profile
    title: 컴맹Colorful 2024.06.21 16:25
    FP16으로 50TOPS면 저 중 가장 월등한 성능인데.... 이걸 왜 궁여지책이라 하시는지...
  • ?
    고자되기 2024.06.21 16:28
    amd는 이미 ai연산카드를 양산해서 파는 회사니까 궁여지책을 안써도 기준을 만족시키는 물건내는게 어렵지않았나보죠
  • profile
    title: 오타쿠마초코      귀여운 건 못참는 로리콘 / ~~탈출성공 2024.06.21 17:50
    AMD GOAT
  • ?
    조마루감자탕 2024.06.21 18:02
    퀄컴은 INT4로 성능 TOPS 뻥튀기 하는거 아직도 하고 있었군요
  • profile
    툴라      збройовий завод 2024.06.21 18:16
    INT4 INT8 로 돌려야 메모리도 덜드시거든요..

    정확성이야... 저세상 가지만요
  • ?
    _랑_ 2024.06.21 20:04
    궁금한게 있는데
    AI연산에서
    4비트, 8비트에서는 INT로하고
    16비트에서는 부동소수점으로 가는건가요 ?
    변수체계가 바뀐 이유가 뭘까요 ?
  • profile
    title: 오타쿠360Ghz      case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2024.06.21 20:19
    그런건 아니고 fp16이 갖는 의미는 fp32보단 성기지만 상대적으로 빠른 결과를 보여줘야할 비정수적 데이터들 때문에 우선적으로 표시해서 그렇습니다. int 16이 fp16보단 차라리 더 정밀한 편이고 = fp16으로 가면 왜 floating point인지 절실히 깨닫는 영역이 바로 ai..
    어쩔 수 없이 fp를 사용하지 않음 안될 때의 최소한 체계입니다.
    그냥은 int16이 보편적인 int 체계라 더 편합니다.
  • ?
    _랑_ 2024.06.21 20:34
    아 그래서 그랬군요.
  • profile
    int20h      메인: Intel i7-5960X@4.4GHz, DDR4 2666MHz 128GB RAM, GALAX GTX1080TI ... 2024.06.23 16:01
    경험상 FP16 변환은 별다른 노력과 정확도 희생 없이 자원확보를 할 수 있습니다.

    INT16은 모르겠는데 INT8, INT4 여기서부터는 정밀도 낮은 상태에서 파인튜닝을 해야하네요. (이걸 QAT라고 합니다)


List of Articles
번호 분류 제목 글쓴이 날짜 조회 수
85107 잡담 창문형 에어컨이 냠냠하는 전기 4 file 포도맛계란 2024.06.22 544
85106 잡담 비 오는 날 먹고 싶은 햄버거 3 file title: 가난한유니 2024.06.22 391
85105 잡담 올해는 수박농사 잘될거 같네요. 9 타미타키 2024.06.22 447
85104 잡담 뭔 세상에... 어제 지슈라2가 8만원에 떴었다네요 9 file 조마루감자탕 2024.06.22 555
85103 핫딜 [티몬]메가디지털 세일 - 삼성 포터블 외장 SSD(... file 블레이더영혼 2024.06.22 455
85102 잡담 농사 4일째입니다. 17 file _랑_ 2024.06.22 413
85101 잡담 클로드3.5 출시되었다고 해서 K패치가 되었나 체... 3 file 군필여고생쟝- 2024.06.22 482
85100 잡담 복구천재꼬마신발이라는 유튜버가 추천한 km 케이... 4 file 화니류 2024.06.22 681
85099 잡담 기온이 내려가도 시원하지가 않네요 9 file title: 저사양아무개 2024.06.22 280
85098 잡담 흠.. 메이쟈(?) 통신사는 비싸군요... 3 file 포도맛계란 2024.06.22 359
85097 잡담 먼가 Arm트북은 기대가 안되네요 14 Adora27 2024.06.22 758
85096 퍼온글 "장례식도 소박하게"…日에서 유행하는 ... 13 file 타미타키 2024.06.21 1511
85095 잡담 사이드미러 모터 18 file title: 저사양아라 2024.06.21 626
85094 잡담 골전도 흘리고왔었는데요 10 file 강제 2024.06.21 520
85093 잡담 기글서 본 모기채 신형이 있었군요. 9 file 빙그레 2024.06.21 696
85092 잡담 GPD Win Mini가 눈에 아른거리네요. 9 mnchild 2024.06.21 535
85091 잡담 가산의 숨겨진 라멘 맛집, 쇼쿠도에이엔 9 file title: 가난한유니 2024.06.21 604
85090 잡담 현직) 오사카 4 file NureKarasu 2024.06.21 682
85089 잡담 맥날 버거 단품 주문시 음료 무료로 주네요 8 조마루감자탕 2024.06.21 714
85088 잡담 (작혼) 마작 0.005% 확률을 성공시키다.. 9 file title: 가난한유니 2024.06.21 418
» 잡담 이번 코파일럿 + 조별과제의 가장 큰 문제점은 38 file title: 오타쿠360Ghz 2024.06.21 820
85086 잡담 사과농장이 비료가 많이 든다고 듣긴했는데... 5 file 고자되기 2024.06.21 603
85085 잡담 광고가 야하네요 19 file 포도맛계란 2024.06.21 754
85084 장터 닌텐도 스위치 내놓습니당. file 우타하 2024.06.21 583
85083 장터 나스용...? 오드로이드 hc4 팝니다! file 파란진주 2024.06.21 549
85082 잡담 개인적으로 가장 만족했던 세차용품 2 file _랑_ 2024.06.21 405
85081 잡담 으으 손 저리니까 힘드네요.. 1 file title: 흑우카토메구미 2024.06.21 249
85080 잡담 패드 파우치랑 케이스는 샀는데 5 file 고자되기 2024.06.21 345
85079 잡담 이 정도면 공연음란죄에요 21 file title: 오타쿠360Ghz 2024.06.21 1383
85078 잡담 알리에서 샀던 메밀소바 11 file title: 저사양아무개 2024.06.21 724
목록
Board Pagination Prev 1 ... 14 15 16 17 18 19 20 21 22 23 ... 2855 Next
/ 2855

최근 코멘트 30개
렉사
21:56
ExpBox
21:53
디렉터즈컷
21:47
탐린
21:43
소주
21:29
Colorful
21:23
ExpBox
21:21
아이들링
21:21
아라
21:21
포인트 팡팡!
21:20
리키메
21:20
강제
21:17
ExpBox
21:16
하드매냐
21:14
강제
21:11
ForGoTTen
21:09
오쿠소라아야네
20:52
책읽는달팽
20:47
강제
20:40
오쿠소라아야네
20:39
오쿠소라아야네
20:33
까르르
20:31
빙그레
20:26
milsa
20:22
아이들링
19:59
ExpBox
19:52
ExpBox
19:46
슈베아츠
19:46
슈베아츠
19:46
슈베아츠
19:45

한미마이크로닉스
MSI 코리아
더함
AMD

공지사항        사이트 약관        개인정보취급방침       신고와 건의


기글하드웨어는 2006년 6월 28일에 개설된 컴퓨터, 하드웨어, 모바일, 스마트폰, 게임, 소프트웨어, 디지털 카메라 관련 뉴스와 정보, 사용기를 공유하는 커뮤니티 사이트입니다.
개인 정보 보호, 개인 및 단체의 권리 침해, 사이트 운영, 관리, 제휴와 광고 관련 문의는 이메일로 보내주세요. 관리자 이메일

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소