Skip to content

기글하드웨어기글하드웨어

인터넷 / 소프트웨어 : 윈도우즈, 리눅스, 기타 운영체제, 각종 어플리케이션, 프로그램, 소프트웨어, 인터넷, 인터넷 서비스에 대한 이야기, 소식, 테스트, 정보를 올리는 게시판입니다.

Extra Form
참고/링크 https://ai.meta.com/blog/meta-llama-3/

Meta Llama 3.png

▶ 페이스북(메타), '생성-AI(인공지능)'의 오픈 소스 언어 모델 신규 버전 발표

- 차세대 '오픈 소스 언어 모델'의 신규 버전(LlaMA) : LlaMa-3
- 신규 버전의 추가 포함 기능(LlaMA-3) : LlaMa-Guard II, 코드 쉴드, CyberSec-Eval II(신규 안전 도구 기능)
- 추후 도입 예정 기능 : 신규 기능, 길어진 창(컨텍스트), 추가 모델 크기, 성능 향상(연구 논문도 공유할 예정)

※ Large Language Model Meta-AI(LlaMA-3)의 주요 소개
- 전반적 유용성의 향상 : 개발자 피드백을 처리
- 텍스트 기반 모델 : 'LlaMA-3' 언어 모델 중 첫번째 모델
- 목표 : 다중 언어 & 모드로 제작 및 길어진 컨텍스트를 가지는 것 / 추론 & 코딩 등 '핵심 LLM 기능' 전반에 걸쳐서 전반적 성능의 지속적 향상
- 최첨단 성능(매개 변수) : '80억개' 및 '700억개'의 매개변수 버전 확립(훈련 후 절차 개선으로 거짓 거부율이 감소, 정렬 개선, 다양성 증가)

 

05.png

 

① 모델 아키텍처
- 토크나이저 탑재(128,000개 토큰 어휘 포함)
- '80억개' 및 '700억개' 매개 변수의 GQA(그룹화 기반 쿼리 주의) 채택
- 토큰 시퀀스 모델 훈련(8,192개)

 

02.png

② 훈련 데이터
- 데이터 사전 훈련 토큰 개수(15조 개수)
- 고품질 비영어 데이터 구성(5% 이상의 30개 이상 언어)
- 데이터 필터링 파이프라인 개발(필터 : 휴리스틱, NSFW, 의미론적 중복 제거 접근, 텍스트 분류자 기반 데이터 품질 예측 포함)
- 신규 개발 세트(고품질 인간 평가) : 조언 요청, 브레인스토밍, 분류, 폐쇄형 질문 답변, 코딩, 창의적 글쓰기, 추출, 캐릭터(페르소나) 거주, 공개 질문 답변, 추론, 재작성 & 요약 등 12가지 주요 사례 프롬프트가 포함(1,800개)

 

③ 사전 학습 확장
- 다운스트림 벤치마크 평가의 세부적 확장 법칙 개발 : 최적의 데이터 조합 선택 및 교육 컴퓨팅을 잘 사용하는 방법의 결정
- 확장 법칙 : 모델을 실제로 훈련하기 이전의 주요 작업의 대형 모델의 성능 예측 가능
- 3가지 유형 병렬화 결합 : 데이터, 모델, 파이프라인
- 효율적 구현 구성 : 16,000개 GPU(동시 훈련 시 GPU당 400 테라플롭스 이상 컴퓨팅 성능을 달성)
- 2개 커스텀 클러스터(24,000개 GPU) : GPU 가동 시간의 극대화를 구성(오류 감지 & 처리, 유지 관리 자동화의 '신규 고급 학습 스택' 개발)
- H/W 안정성 개선 : 자동 데이터 손상 감지 매커니즘 개선 및 확장 가능형 신규 스토리지 시스템 개발(체크포인트 & 롤백 오버헤드 감소)
[LlaMa-II 모델 대비 훈련 효율성 증가(LlaMa-III) : 최대 3배, 교육 시간 증가(95%)]

 

03.png

④ 명령어 미세 조정
- 접근 방식 조합 목표 : 감독성 미세 조정(SFT), 거부 샘플링, 근접 정책 최적화(PPO), 직접 정책 최적화(DPO) 

→  정렬된 모델 성능에 영향을 미침
- 모델 품질의 개선 : 데이터의 신중하게 선별 및, 주석자가 제공한 주석의 여러 차례의 품질 보증 수행
- 성능 향상(LlaMa-3) : 선호도 순위 학습의 추론 & 코딩 작업(모델에 대답하기 어려운 추론 질문 시 올바른 추론 추적을 생성함)

 

⑤ 건물 건설
- 목표 : 관련 사용 사례 지원 및 모범 사례를 쉽게 채택과 개방형 생태계를 개선하는 것
- 신규 라이브러리 공동개발(PyTorch - Torchtune) : 효율적 메모리 기반의 해킹 가능한 훈련 레시피를 제공
- 주요 플랫폼의 라이브러리 통합 : Hugging Face, Weights & Biases, Eleuther-AI, Executorch 등 인기 플랫폼에 통합

 

04.png

⑥ 책임성 기반의 시스템 수준 접근
- 책임성 배포 기준 : 최고의 접근 방식의 보장, 최대한의 유용성을 보장(신규 시스템 수준의 접근 방식 채택)
- 이전 모델(LlaMa-Guard 1) : 신속성 및 대응적 안전 기반으로 고안(애플리케이션 요구 사항에 따른 쉬운 미세 조정 및 신규 분류 체계 생성)
- 신규 모델(LlaMa-Guard 2) : '산업 표준의 출현' 지원 기반으로 설계(신규 ML-Comons 분류법 적용)
- 신규 보안 모델(CyberSec-Eval 2) : 코드 해석기 남용 및 공격적 사이버 보안 기능 & 주입 공격(즉각적)의 민감성 허용을 LLM 성향에 추가
- 신규 보안 모델(Code-Shield) : LLM에 생성된 '비안전성 코드의 추론 시간 필터링' 지원

 

⑦ 대규모의 AI 모델 배포(Llama-3)
- 클라우드 벤더사, 모델 API 벤더사 등 포함하여 주요 플랫폼에 제공 예정
- 토큰 효율성 제공(토크나이저 향상) : 'Llama-2' 모델 대비 최대 15% 적은 토큰 생성

 

☞ H/W & S/W + 클라우드 등 대형 빅테크 벤더사 제공 예정
- H/W 벤더사 : 인텔, 엔비디아(NIM 추론 서비스 포함), AMD, 퀄컴 테크놀로지
- S/W 벤더사(클라우드) : 구글 클라우드, 마이크로소프트 애저, AWS
- OEM 벤더사 : 델 테크놀로지
- AI(인공지능) 개발 벤더사 : 데이터브릭스, Hugging Face, Kaggle, IBM(왓슨-X)

 

01.png

⑧ 다음 단계 모델 개발
- 차후 많은 모델 출시 예정 : 가장 큰 모델(4,000억개 매개 변수 → 현재 훈련중)
- 'Llama-3' 모델의 매개변수 종류 : 80억개, 700억개



  • ?
    photino65 2024.04.19 20:48
    진짜 '오픈' AI
  • ?
    David_L 2024.05.10 21:34
    발전이 정말 빠르네요 llama 나온지 어저께 같은데

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.


  1. No Image

    라이젠 AI NPU의 오픈소스 LLVM 컴파일러, Peano 출시

    AMD가 라이젠 AI 프로세서에 탑재된 XDNA와 XDNA2 NPU, 그리고 자일리스 AI 엔진 프로세서의 LLVM 백엔드 오픈소스 컴파일러인 Peano를 출시했습니다. AI 엔진 프로세서는 순차 실행 파이프라인의 VLIW 프로세서이며, 프로세서 파이프라인...
    Date2024.06.12 소식 By낄낄 Reply0 Views268
    Read More
  2. ZLUDA, AMD로 CUDA 돌리기

    https://github.com/vosen/ZLUDA   이것도 글카가 필요하지만, 최소한 종속은 아니군요.   ZLUDA는 CUDA를 AMD의 ROcm으로 번역합니다. 원랜 인텔 GPU용이었는데, 그냥 접고 AMD에 몰빵합니다.   일단 알파지만, XDA에서 발표할 정도면 뭔...
    Date2024.06.10 소식 Bytitle: 폭8책읽는달팽 Reply11 Views1633 file
    Read More
  3. No Image

    HP 프로 노트북, 불량 바이오스가 업데이트됨

    HP 프로북 455 G7의 업데이트가 강제로 바이오스를 업데이트하면서 문제가 생겼습니다. 이 바이오스가 정상 작동한다면 아무 일도 없겠지만, 업데이트 후에 검은 화면만 뜬다고 하네요. 윈도우나 번들 프로그램 업데이트를 강제로 하는 것...
    Date2024.06.10 소식 By낄낄 Reply3 Views793
    Read More
  4. '한국어 AI' 연구마저 미국 돈으로…연구자들 "도와주세요"

    AI를 연구하는 데 꼭 필요한, 그래픽 처리장치, GPU를 구하기 어렵다는 소식을 자주 전해 드리게 됩니다. 후원을 요청하는 공개 호소문도 나왔습니다. 출처 : SBS 뉴스 원본 링크 : https://news.sbs.co.kr/news/endPage.do?news_id=N1007...
    Date2024.06.09 소식 By낄낄 Reply16 Views2108 file
    Read More
  5. 파이어폭스에서 유튜브가 요새 좀 많이 이상하네요.

      갈수록 이용자도 없어진다는 파이어폭스.. 인데   올해 초부터 자주 겪고 있는 아주 이상한 이슈입니다.   1. 영상을 보기 위해 클릭함 2. ↑처럼 버퍼링이 됨 (밝은 회색 바로 변함) 3. 근데 버퍼링이 되자마자 버퍼링 된게 증발한 다...
    Date2024.06.09 일반 By성하. Reply17 Views1102 file
    Read More
  6. No Image

    AI가 인류를 위협할 수 있다는 경고

    오픈AI와 구글의 전/현직 직원은 AI 기술의 발전과 이에 따른 위험을 경고하는 성명을 발표했습니다. 기존의 불평등을 더욱 심화시키고, 잘못된 정보를 확산시키거나, 자율 AI의 제어를 잃어 인류가 멸망할 가능성도 있다고 지적했습니다....
    Date2024.06.09 소식 By낄낄 Reply12 Views836
    Read More
  7. No Image

    국내 유일 생성형 AI 스타트업 ‘뤼튼’, 대규모 권고사직 단행

    내 유일한 생성형 인공지능(AI) 스타트업 ‘뤼튼테크놀로지스(뤼튼)’가 대규모 권고사직을 진행하고 있는 것으로 알려졌다. 뤼튼은 대한민국 AI 혁명을 이끌어갈 차세대 유니콘(기업가치 1조원 이상 스타트업)이 될 것이란 외...
    Date2024.06.08 소식 By낄낄 Reply10 Views1200
    Read More
  8. MS, 리콜 관련 수정 제시

    https://gigglehd.com/gg/soft/16053708 https://gigglehd.com/gg/index.php?mid=bbs&page=2&document_srl=16061024   등의 극딜을 맞은 MS가 리콜에 대한 수정을 제시했습니다.   1. 이제 리콜은 옵트인, 그러니까 사용자가 윈도...
    Date2024.06.08 소식 Bytitle: 폭8책읽는달팽 Reply13 Views866 file
    Read More
  9. DuckDuckGo AI Chat: 인기 있는 AI 챗봇에 대한 익명 액세스 가능

    DuckDuckGo AI Chat은 현재 Open AI의 GPT 3.5 Turbo, Anthropic의 Claude 3 Haiku, 두 개의 오픈 소스 모델(Meta Llama 3 및 Mistral의 Mixtral 8x7B)과 같은 인기 있는 AI 챗봇에 액세스할 수 있는 익명의 방법입니다. 이 옵션 기능은 ...
    Date2024.06.07 소식 Bytitle: 저사양아무개 Reply0 Views814 file
    Read More
  10. No Image

    유튜브, 총기관련 영상에 새로운 연령제한

    YouTube는 일부 총기 관련 동영상의 연령을 제한하고 다른 동영상은 완전히 금지하는 정책 변경에 조용히 슬쩍 끼어들었습니다.  사제 총기 및 자동 총기가 등장하는 콘텐츠는 만 18세 미만 시청자에게 금지되며, 안전 장치 제거 튜토리얼...
    Date2024.06.07 소식 Bytitle: 저사양아무개 Reply7 Views634
    Read More
  11. No Image

    맥스(HBO Max) 구독가격 인상

    HBO Max 로 불렸던 'MAX'가 구독가격을 인상한다고 합니다.   표준 광고없는 요금제는 월 17달러, 연간 170달러로 월 1달러 및 연20달러 인상 얼티밋 광고없는 요금제는 월 21달러, 연간 210달러로 월 1달리 및 연 10달러 이상   광고요금...
    Date2024.06.07 소식 Bytitle: 저사양아무개 Reply1 Views464
    Read More
  12. 구글포토 유료기능 무료화 되었나봐요?

    원래 유료이용자만 쓸 수 있던 HDR효과라든가 기타 기능들이 그냥 사용이 되네요? 전에는 해당 기능 쓰려면 구글원 구독하라고 나왔는데 말이죠.      
    Date2024.06.07 일반 Bytitle: 저사양아무개 Reply0 Views666 file
    Read More
  13. Adobe의 개정된 이용약관 논란

    Adobe의 이용약관 개정안이 논란이 되고 있습니다.   개정된 이용약관은 Adobe가 사용자가 만드는 컨텐츠에 자동 혹은 수동으로 엑세스할 수 있음을 더욱 명확히 하고 있습니다.   이는 개인정보 보호 측면에서 비판받고 있으며, 또한 자...
    Date2024.06.06 소식 Bytitle: 병약한디이나 Reply8 Views1305 file
    Read More
  14. 리콜, 'MS의 스파이웨어' 그리고 추락한 신뢰

    우려한 일이 터진거 같군요.   일단, 리콜은 화면 사진을 다 찍어서 모든 텍스트를 OCR로 변환한후 SQLite에 저장합니다. 스크린샷은 2560 x 1440 해상도로 500kb ~ 600kb 정도입니다.   보안 전문가인 Kevin Beaumont은 (1) 컴퓨터에 로...
    Date2024.06.05 소식 Bytitle: 폭8책읽는달팽 Reply12 Views2178 file
    Read More
  15. No Image

    엑스 "합의된 성인 콘텐츠물 게시 공식 허용하기로"

    엑스는 최근 자사 웹사이트에 업데이트한 콘텐츠 관련 규정에서 "이용자들이 합의된 성인 콘텐츠를 보여주는 것을 공식적으로 허용할 것"이라고 밝혔다. 엑스는 "합의에 따라 제작 및 배포되는 한 성적인 주제 관련 자료도 제작, 배포, 소...
    Date2024.06.05 소식 By낄낄 Reply12 Views1295
    Read More
목록
Board Pagination Prev 1 ... 8 9 10 11 12 13 14 15 16 17 ... 601 Next
/ 601

최근 코멘트 30개

한미마이크로닉스
AMD
더함
MSI 코리아

공지사항        사이트 약관        개인정보취급방침       신고와 건의


기글하드웨어는 2006년 6월 28일에 개설된 컴퓨터, 하드웨어, 모바일, 스마트폰, 게임, 소프트웨어, 디지털 카메라 관련 뉴스와 정보, 사용기를 공유하는 커뮤니티 사이트입니다.
개인 정보 보호, 개인 및 단체의 권리 침해, 사이트 운영, 관리, 제휴와 광고 관련 문의는 이메일로 보내주세요. 관리자 이메일

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소