책읽는달팽애플이 이런 논문을 냈습니다.
https://arxiv.org/pdf/2312.11514.pdf
이미 애플은 Siri가 있습니다. 하지만, 이 Siri는 데이터센터에서 굴러갑니다. 이 논문은 ChatGPT 같은 거대 언어 모형을 로컬 기기의 플래시서 돌리는 것입니다.
아직까지는 모르겠지만, 언젠가는 아이폰이나 패드, 맥에서 따로 계산된 놈이 나오지 않을까 생각해봅니다.
인터넷 / 소프트웨어
:
윈도우즈, 리눅스, 기타 운영체제, 각종 어플리케이션, 프로그램, 소프트웨어, 인터넷, 인터넷 서비스에 대한 이야기, 소식, 테스트, 정보를 올리는 게시판입니다.
소식
2023.12.23 18:21
애플, 클라우드가 아닌 장치에서 ChatGPT 비슷한걸 돌릴 생각중
| 참고/링크 | https://arstechnica.com/apple/2023/12/ap...the-cloud/ |
|---|
-
메모리 요구량이 어마어마하지 않을까요? 하지만 애플 제품은 메모리 용량에 인색한걸요. -
?
다른 논문에서는 사용 가능한 DRAM 용량을 초과하는 장치에서 LLM을 실행하는 방법을 소개했다. LLM 매개변수를 플래시 메모리에 저장하고 추론할 때, 부족한 DRAM으로 데이터 전송을 최소화하는 방법이다.
애플은 ▲플래시 메모리 기반 프레임워크 내에서 이전에 활성화된 뉴런을 재사용해 데이터 전송을 전략적으로 줄이는 ‘윈도우잉(windowing)’과 ▲플래시 메모리에 저장해 읽는 데이터 블록의 크기를 늘리는 ‘행-열 번들링(row-column bundling)’ 기술을 적용했다.
이런 방법을 사용하면 사용 가능한 DRAM 크기의 최대 2배까지 모델을 실행할 수 있으며, CPU 및 GPU의 단순 로딩 방식에 비해 추론 속도가 각각 4~5배, 20~25배 향상된다고 설명했다.
출처 : AI타임스(https://www.aitimes.com) -
스와마망
2023.12.23 20:39
메모리도 작은데 돌릴모델은있고? -
?
제미나이 나노 같은거 이미 폰에 트랜스스크립트용으로 구글도 넣고 있고
그리고 이미 iOS 17 발표할때 자동수정 등에 온디바이스 LLM 사용한다고 했습니다 -
요즘 온 디바이스 체제로 넘어가는 중이라서, 올해에 나온다는 AI들은 그런 메모리 용량을 요구하진 않습니다. -
28ghz 5g는 요원하고 와이파이 보급도 비슷한 상태니 컴퓨팅 자원만 가능하다면 좋은 접근인 것 같은데... 내년 WWDC에선 뭐라도 좋으니 관련 얘기 좀 나왔으면 좋겠어요. -
?
돌릴 수 있다고 쳐도 엣지 디바이스에서 돌릴 수 있을만한 사이즈를 갖고 있는 모델의 답변 퀄리티는 한계가 있는지라 빠르게 나올 것 같지는 않습니다.
작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.
-
Read More
성인게임 실행파일 위장 악성코드 주의
안랩에서는 야한게임 실행파일로 위장해 유포하는 사례를 발견했다고 합니다. 공격자는 압축해제후 'Game.exe' 파일을 실행하면 공격자의 서버로부터 악성코드를 내려받는 '다운로더 악성코드'가 함께 실행됩니다. 그와... -
Read MoreNo Image
교육기관 이용자를 위한 Office 365 A1라이선스가 제한됩니다.
이미 대다수 대학들이 이에 대한 대응으로 수료, 제적, 졸업생에 대한 라이선스 회수에 대해 공지를 한 상태였군요. 만약 대학 졸업 이후에도 학교 계정의 Office 365와 OneDrive 1TB 혜택을 보고 계신분들은 각 학교에 공지된 사항을 ... -
Read MoreNo Image
애플, 유럽을 위해 앱 스토어를 2개로 분리?
애플이 앱 사이드로딩을 강제하는 유럽 지역의 디지털 시장법을 지키기 위해 앱 스토어를 분리할 거라고 합니다. 유럽 지역 앱 스토어를 다른 지역과 별도로 떼어내서 운영하겠다는 것입니다. 앱 스토어를 분리하면 운영도 정말 번거로울... -
Read More
MS 코파일럿 프로 AI 발표. 구독형 오피스 AI 서비스
마이크로소프트가 코파일럿 프로를 발표했습니다. 마이크로소프트 365 퍼스널/홈 구독에 매달 20달러식 더 내면 추가되는 기능으로, AI를 오피스 앱에서 직접 넣어 쓸 수 있습니다. 여기에는 AI가 만든 문장 제안/요약, 엑셀의 분석 자동... -
Read MoreNo Image
불법 사이트 접속차단 후 우회 접근까지 감시 의무화
이번 법 개정에 따라 국내에 데이터를 임시저장 하는 서버를 설치·운영하는 일정 규모 이상의 정보통신 서비스 제공자는 임시저장 서버의 불법 정보에 대한 신속한 접근제한, 불법 정보 게재자에 유통금지 요청, 관리 실태 자동 기... -
Read More
IMF: 직업의 60%는 AI의 영향을 받고, 그 중 절반은 AI가 차지한다
국제 통화 기금 IMF는 AI가 세계 경제에 미치는 영향을 예측했습니다. 선진국 기준으로 직업의 60%가 AI의 영향을 받고, 그 중 절반은 AI로 대체될 거라고 하네요. 전 세계적으로 따지면 직업의 40%가 AI의 영향을 받으나, 선진국의 경우 ... -
Read More
Marvelous Designer 제작자, Sci-Tech Academy Award 수상
CLO 버추얼 패션(CLO Virtual Fashion)의 공동 창립자인 제이든 오(Jaden Oh)는 3D 의류 제작 소프트웨어 마블러스 디자이너(Marvelous Designer)에 대한 연구로 과학 기술 아카데미 상을 수상했습니다. 기술계의 오스카상이라 불... -
Read More
유튜브 속도저하 원인은 구글이 아닌 애드블럭 자체 문제
유튜브 속도저하 원인은 애드블럭플러스 신규 기능 때문이었고 유블럭과 같은 다른 차단기는 문제가 없음 댓글 삭제가 여러곳에서 일어나겠군요 -
Read MoreNo Image
루머, 내용추가.) 유튜브 광고차단시 CPU 부햐량 올라감.
YouTube의 최신 광고 차단 조치에서 AdBlock 확장 프로그램이 활성화되는 경우의 성능 문제를 보고했습니다. 주말 동안 YouTube 하위 레딧( 9to5Google에게 감사드립니다)에 게시된 스레드에서 사용자는 AdBlock을 활성화하면 로드 시간... -
Read MoreNo Image
특정 웹 페이지에 들어가면 어떠한 프로세스가 동작 합니다
사내(남자라는 의미 아님) 보안 프로그램 중 하나가 특정 웹 사이트에 들어가면 켜집니다. (혹은 비활성화 상태로 있다가 활성화 되는 건지 정확히 파악은 못하겠습니다) 여튼 그 보안 프로그램이 일단 동작 시작하면 웹페이지에서 나가... -
Read MoreNo Image
VMWARE 8.0로 가상머신 실행시 재부팅되는 문제
CPU : 라이젠 5600 RAM : 8GB 위 시스템에서 VMWARE 8.0 실행 후 가상 OS인 리눅스를 불러오려고 할 경우 재부팅이 됩니다. 블루스크린이 뜨는지 확인하려고 하였으나 블루스크린 없이 바로 재부팅되는 것을 확인했습니다. 현재 메... -
Read MoreNo Image
구형 IE를 쓰기 위한 여정
1. 저번에 한번 윈10 LTSB 구형버전(2016, 1607)에서 안되는게 많다고 푸념을 했는데요. https://gigglehd.com/gg/1540441 그때 주신 댓글들이 많은 도움이 되었습니다. 일단 1607은 저때 얘기한 문제와 별개로 더 큰 문제가 있더라고요... -
Read More
YouTube 광고 차단시 속도 저하 시작
YouTube는 최근 광고 차단기를 사용할 때마다 전체 사이트 속도를 늦추기 시작했습니다. 새로운 속도 저하의 물결이 사용자를 강타하고 있으며 유일한 해결 방법은 광고 차단기를 비활성화하거나 프리미엄으로 업그레이드하는 것입니... -
Read MoreNo Image
(해결)벽에 직결해도 인터넷이안되면
평소에도 인터넷에 자주끊겨서 공유기 문제인가 싶어서 초기화했더니 이젠 공유기 안거치고 바로 벽에달린 포트로 컴터랑 다이렉트로 연결했는데도 인터넷이 먹통입니다. 다른방 와이파이를 염탐해서 공유기 설정을 훔쳐봤는데 동적 ip ... -
Read MoreNo Image
애플, 시리/AI 팀 일부를 폐쇄
애플이 샌프란시스코 Data Operations Annotations 팀을 폐쇄하고, 텍사스 오스틴 팀과 합병한다고 발표했습니다. 이전에 동의하지 않으면 회사를 떠날 수도 있습니다. 이 팀은 121명이 근무하며 시리와 AI를 담당해 왔습니다.
툴라
아무개
카토메구미
Moria
