Skip to content

기글하드웨어기글하드웨어

인터넷 / 소프트웨어 : 윈도우즈, 리눅스, 기타 운영체제, 각종 어플리케이션, 프로그램, 소프트웨어, 인터넷, 인터넷 서비스에 대한 이야기, 소식, 테스트, 정보를 올리는 게시판입니다.

profile
title: 폭8책읽는달팽 https://gigglehd.com/gg/15769678
필살! 멍 때리는 척하기!
조회 수 991 댓글 3
Extra Form
참고/링크 https://www.theregister.com/2024/03/31/m..._hardware/

일단, 3월 21일날 MS가 첫 'AI PC'를 내놓았습니다. 이 AI PC의 정의에 대해서 인텔은 'NPU와 VNNI 및 Dp4a 명령를 처리할수 있는 최신 GPU'를 장착한 컴퓨터란 답변을 했습니다.

https://www.theregister.com/2024/03/12/what_is_an_ai_pc/

 

근데 지금 LLM 중에는 32기가짜리 램을 먹는 놈이 존재하니, 이것도 애매모합니다. 그리고 MS의 'AI PC'는 모든 제품에 Copilot 키가 필요합니다.

 

그렇게 인텔이 MS의 AI PC를 더 구체화 했는데, MS측은 궁극적으로 클라우드가 아닌 사람들의 Windows AI PC에 탑재된 NPU 또는 신경 처리 장치에서 Copilot LLM을 완전히 실행하기를 희망하고 있다고 전했습니다.

 

clippy-word.gif

그러나 이 놈을 또 보기 싫기 때문에, 이 계획은 약간 뒤로 미뤄지고 클라우드에서 처리하게 될 것입니다. 네, 장기 목표가 PC에서 돌아가는 LLM이고, 지금은 저꼬라지 안나게 클라우드 화 한다는 거죠. 물론, 이미 기준 잡은것중에 NPU / GPU등이 있으니 어느정도 연산을 시킬수 있을지도 모르겠군요. 여튼 Copilot는 OpenAI의 GPT-4를 기반으로 돌아간다는 것도 제약사항일수 있겠죠. MS가 어떻게 최적화 시키는지 모르겠지만, 전체 GPT-4 모델의 파라미터는 약 1조 7천억 개에 달할 것으로 추정됩니다. 양자화하거나 INT4에서 모델을 실행하더라도 약 900GB의 메모리가 필요하기 때문이죠...

 

그러나, 다른 LLM로 가는것도 방법이 있습니다. 최근 프랑스 미스트랄 AI에 1,500만 유로를 투자하여 Azure에 올려버린다고 했으니까요. 이 회사의 Mistral-7B(파라미터 수는 70억개)는 4비트 양자화시, 4기가만 먹습니다. 즉, 컴퓨터에서 오프라인 상태로 사용가능하다는 것이지요.

 

이런 걸 보고 2가지 경우를 생각할 수 있습니다. 첫번째는 MS 서버에서 작업을 오프로드하고 응답시간을 개선하는 것이지요. 두번째는 네트워크가 중단될 경우를 대비한 백업용입니다. 문제는 이렇게 하면 점점 더 머저리가 되는 걸 볼수 있겠죠.



  • profile
    title: 저사양Colorful 2024.04.01 08:59
    미스트랄을 쓰더라도 매 순간 4gb를 램에 적재하고 있어야 하는건 아무래도 너무 요구치가 높다 보니... 아마 미스트랄 같은 모델과 함께 최근 연구중인 1비트 양자화를 통해 어떻게든 1 ~ 2GB 내로 줄이지 않을까요?

    정확도의 문제는 범용 LLM이 아닌 윈도우 기능만을 위해 파인튜닝 하면 어느정도 해결되지 않을까 싶기도 하구요.
    (복잡한 기능은 온라인 코파일럿으로 돌려버리는..)
  • profile
    title: 폭8책읽는달팽      필살! 멍 때리는 척하기! 2024.04.01 09:24
    그짓하지 않고 왜 차후 윈도 11 업뎃을 막아버릴거 같은 느낌이 드는건 왜일까요 ㅠㅠ
  • profile
    슬렌네터      Human is just the biological boot loader for A.I. 2024.04.01 13:05
    대충 나중에 M$ copilot darkside version이 나오겟군요

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.


  1. No Image

    유튜브, 유명인 사칭 시 계정 정지

    스타강사 김미경 씨와 유명 투자자인 존 리 전 메리츠 자산운용 대표 등이 참석한 기자회견 온라인에서 유명인 사칭 광고 사기가 기승을 부리자, 정부와 플랫폼 기업들이 적극 나서줄 것을 호소하는 자리였습니다. (중략) 이날 성명에는 ...
    Date2024.04.02 소식 By낄낄 Reply12 Views583
    Read More
  2. No Image

    1일부터 MVNO 회선 신규 개통 시 신분증 스캐너 사용 의무화

    [소식] 휴대폰 집단상가 가보니…"오늘부터 알뜰폰 개통 안돼요" [현장에서] 아이뉴스24 보도입니다. 2024년 4월 1일부터 MVNO 회선 신규 개통 시 신분증 스캐너를 의무적으로 사용하도록 규정이 바뀌었습니다. 참고/링크에 올려 둔 기사는...
    Date2024.04.02 소식 Bytitle: 컴맹임시닉네임 Reply12 Views750
    Read More
  3. 2024 어도비 서밋, 스닉에서 발표한 기능

    어도비 서밋 2024에서 어도비 클라우드를 위한 새로운 기능이 발표됐습니다. 어도비 익스피리언스 플랫폼 AI 어시스턴트입니다. 고객 체험 관리를 위한 어도비 익스피리언스 클라우드에 추가되는 기능으로, 자연어를 지원하는 AI 어시스턴...
    Date2024.04.01 소식 By낄낄 Reply1 Views424 file
    Read More
  4. No Image

    동기화는 조심해야겠어요

    1분기가 지났으니 기글 전체 백업을 돌려놓고, 용량이 너무 크니까 대역폭 제한해서 조금씩 받고 있는데요. 갑자기 KT QoS 적용 문자가 오더라고요? 어제 밤에 노트북 테스트한다고 게임 업데이트를 좀 했더니 그런건가 했죠. 이걸로 끝났...
    Date2024.04.01 일반 By낄낄 Reply9 Views580
    Read More
  5. 역시 테무의 가격은 개인정보에서 나오는군요

    알리를 끊을려고 테무를 가입했다가 쿠폰 방식이 너무 짜증나서 아무것도 안 사고 방치 후 앱을 삭제했는데요. 두어달 지나니 이런 게 오는군요. 테무 가입한 메일 계정으로 테무 로고를 넣은 스팸 메일입니다. 물론 테무에서 직접 보낸 ...
    Date2024.04.01 일반 By낄낄 Reply4 Views1303 file
    Read More
  6. No Image

    오픈AI와 MS, 1000억 달러의 데이터센터 프로젝트를 계획 중

    오픈AI와 마이크로소프트가 1000억 달러를 투자해 수백만개의 GPU를 갖춘 데이터센터를 건설하는 프로젝트, 이름하여 스타게이트를 추진 중입니다. 현재 운영하는 가장 큰 데이터센터보다 100배 정도 더 비쌀 것이라고 하며, 2028년까지 ...
    Date2024.04.01 소식 By낄낄 Reply3 Views507
    Read More
  7. MS의 Copilot 정책 - 인터넷 연결없이도 가능하게

    일단, 3월 21일날 MS가 첫 'AI PC'를 내놓았습니다. 이 AI PC의 정의에 대해서 인텔은 'NPU와 VNNI 및 Dp4a 명령를 처리할수 있는 최신 GPU'를 장착한 컴퓨터란 답변을 했습니다. https://www.theregister.com/2024/03/12/what_is_an_ai_p...
    Date2024.04.01 소식 Bytitle: 폭8책읽는달팽 Reply3 Views991 file
    Read More
  8. xz 백도어버전 당첨이군요...

    https://gigglehd.com/gg/15761156   이 글에서 내용 확인한 후에 혹시 내 것도 백도어 버전이...? 라는 생각이 들어 조회를 해 봤습니다. (현재 문제가 되는 버전은 5.6.0 및 5.6.1입니다.)   이런... 당첨입니다.   다만 버전 조회를 하...
    Date2024.03.31 일반 Bytitle: 저사양Colorful Reply5 Views4535 file
    Read More
  9. NetBSD 10 공식 릴리즈

    NetBSD 10이 공식 릴리즈 되었습니다. 2019년에 9가 나온 이후로 5년만입니다.   성능과 기능, 하드웨어 지원 모두 9.x에 비하여 크게 개선되었습니다. 자세한 내용은 원문에서 확인하시기 바랍니다.  
    Date2024.03.31 소식 By헥사곤윈 Reply0 Views561 file
    Read More
  10. 디시인사이드, 고정닉 신청 정책 변경

    [소식] 관련 글 - "디씨인사이드,개인정보 폐기" https://gigglehd.com/gg/bbs/11424832     가입 시 식별 코드(ID)를 선택할 수 없게끔 바뀌었습니다. 계정 복구 시 사용할 수 있는 방법은 보안 코드뿐입니다. 이메일 인증 등 타 수단을 ...
    Date2024.03.31 소식 Bytitle: 컴맹임시닉네임 Reply6 Views1367 file
    Read More
  11. SKT, 3만 원대 요금제와 2만 원대 온라인 전용 등 5G 요금제 개편

    [보도자료] 관련 글 - "[보도자료] SKT, 5G 요금제 선택권 넓히고 고객 통신비 부담 낮춘다" https://gigglehd.com/gg/soft/13954671   * 흔히 "5G"로 불리는 통신 방식인 IMT-2020, New Radio를 이 글에서는 "NR"로 서술하였습니다. 제목...
    Date2024.03.30 소식 Bytitle: 컴맹임시닉네임 Reply19 Views1209 file
    Read More
  12. '레나', IEEE 학술지에서 금지

    IEEE 컴퓨터 학회에서 4월 1일부터 1972년 플레이보이에 오른 사진, 통칭 '레나'가 들어간 논문들을 금지합니다. 그러니까 넣으면 자동 리젝이란 소리죠...   레나 쇠데르베리(미쿡에서 잠시 이 사진을 찍고 스웨덴에서 조용히 살다 학회...
    Date2024.03.30 소식 Bytitle: 폭8책읽는달팽 Reply12 Views2248 file
    Read More
  13. No Image

    MS 코파일럿, 40TOPS의 NPU가 있는 시스템에서 로컬 실행 가능

    MS 코파일럿은 최소 40TOPS의 성능을 내는 NPU가 장착된 시스템에서 로컬 실행이 가능합니다. 혖재 코파일럿은 사용자가 쿼리나 프롬프트를 입력했을 때 클라우드 AI로 보내지만, 나중에는 로컬에 탑재된 NPU를 써서 실행할 수 있게 됩니...
    Date2024.03.30 소식 By낄낄 Reply1 Views743
    Read More
  14. No Image

    압축 라이브러리 xz/liblzma에 백도어가 들어있음

    해커뉴스: https://news.ycombinator.com/item?id=39865810   오픈소스 압축 라이브러리에 주요 메인테이너가 직접 백도어를 심어서 대부분의 배포판에 퍼졌고, 압축 라이브러리다보니 로그 압축이 필요한 systemd에 링크될 수 있는데... ...
    Date2024.03.30 소식 Bytitle: 부장님Neons Reply5 Views2143
    Read More
  15. 투명 png 파일 만드는 법

    *.jpg 파일이 있습니다. 흰 부분을 투명으로 만들고 싶은데... 그림판으로는 당연히 안되는 작업이죠...;;;     이런 파일이라고 예를 들면 저 검은색 부분만 따고 흰 부분은 투명으로 만들어서 어느 이미지 위에 붙여넣기를 해도 저 검은...
    Date2024.03.30 질문 By투명드래곤 Reply10 Views646 file
    Read More
목록
Board Pagination Prev 1 ... 16 17 18 19 20 21 22 23 24 25 ... 592 Next
/ 592

최근 코멘트 30개
태조샷건
00:14
늅찡
00:14
낄낄
00:10
태조샷건
00:03
조마루감자탕
23:57
까마귀
23:55
NG_GOON
23:54
툴라
23:49
태조샷건
23:43
태조샷건
23:42
태조샷건
23:39
태조샷건
23:38
태조샷건
23:34
predator44
23:30
predator44
23:28
predator44
23:27
ASTRAY
23:26
툴라
23:26
ASTRAY
23:24
hjk9860
23:20
GPT
23:17
린네
23:06
용산급행
23:01
용산급행
23:00
용산급행
23:00
투명드래곤
22:59
화니류
22:57
투명드래곤
22:53
염발
22:48
툴라
22:46

한미마이크로닉스
AMD
MSI 코리아
더함

공지사항        사이트 약관        개인정보취급방침       신고와 건의


기글하드웨어는 2006년 6월 28일에 개설된 컴퓨터, 하드웨어, 모바일, 스마트폰, 게임, 소프트웨어, 디지털 카메라 관련 뉴스와 정보, 사용기를 공유하는 커뮤니티 사이트입니다.
개인 정보 보호, 개인 및 단체의 권리 침해, 사이트 운영, 관리, 제휴와 광고 관련 문의는 이메일로 보내주세요. 관리자 이메일

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소