Skip to content

기글하드웨어기글하드웨어

커뮤니티 게시판 : 아주 기본적인 네티켓만 지킨다면 자유롭게 쓸 수 있는 커뮤니티 게시판입니다. 포럼에서 다루는 주제는 각각의 포럼 게시판을 우선 이용해 주시고, 민감한 소재는 비공개 게시판이나 수상한 게시판에, 홍보는 홍보/외부 사용기 게시판에 써 주세요. 질문은 포럼 게시판의 질문/토론 카테고리를 사용해 주세요.

Google 내부 보고서 유출 보면, OpenAI나 Google이 AI 학습에 들어가는 자원의 소모량이 현재 Community에서 자발적으로 개발하는 것 대비해서 비용 소모가 크다고 하더군요.

 

특히 기업으로서는 추가적으로 정부와 같은 여러 이해 기관들의 규제에만족하기 위해서 처음부터 학습 데이터를 만들거나 이미 학습된 모델을각 규제에 맞춰서 테스트 하는 등의 여러 추가적인 비용 요소가 크다고 하네요.

 

반면에, 대중들이 만들 때는 자료를 학습할 때 이미 공개된 기업의 논문을 참고해서 넣기 때문에 처음 학습부터 자료를 확보하기 위한 노력이 들어가지 않았고, 이후 추가적인 자료 수집이나 학습에서 굳이 각 정부 기관의 입맞에 맞을 기업처럼검열된 정보를 걸러낸다거나 아니면 개발자들에 인건비를 지출한다거나 등의 필요가 없으니 생각 이상으로 빠르게 발전하고 있다고요.

 

즉, 자발적으로 참여하는 인력에 대해서 지출이 없고, 순수하게 자신만의 LLM을 소유하고자 하는 욕망에 Cloud Service를 자발적으로 이용해 서로 공유하는 상황이 일어나고 있다 보니까 기업이 지금은 우위에 있지만 이들의 발전 속도를 보면 오래 가지 않을 것이란 의견을 내놓았어요.

 

한편으로 Meta의 유출된 LLM을 기준으로 새로 학습을 하거나 만드는 과정을 거치기 때문에 여기서 얻은 자료들이 Meta의 LLM에도 반영될 수도 있어서 Meta가 유출이라는 이름 아래에 일부러 자신들의 LLM을 공개한 것 아닌가란 의견도 있네요.

 

실제로, Meta의 LLM과 논문을 분석하여 동일한 데이터로 학습한 Apache License 기반 LLM도 공개가 되었으니까요.

 

실제 Local 환경에서 구동되는 LLM 전부가 Meta 기반이거나 Meta LLM의 Reverse engineering 기반이라서 프롬프트나 설정값들이 Meta LLM에도 공유가 되다보니 사실상 OpenAI가 GPT API 제공하면서 얻은 젙보 기반으로 다시 GPT 학습에 이용하였건 것처럼 Meta도 그러지 않으리란 보장이 없다는 말도 나오고요...

 

 

 

그러서 최근에 OpenAI가 130조 투자를 받아서 연내 AGI를 도달 하겠다는 말을 하는 것이 아닌가란 생각도 들어요.

 

물론 모든 것은 개인적인 생각입니다.



  • profile
    ForGoTTen      결제중.... 2023.05.16 18:50
    저희도 요즘 시도라도 해보고 있는데.... LLM학습이 그리 녹록하지 않습니다. 국내에서는 민간에서 시도라도 해 보고 있는 곳이 네이버랑 스타트업 몇 곳 정도 있더군요.

    클라우드로 충당하기에는 너무 비싸고 그렇다고 초기 투자를 늘려서 자체 클러스터를 구비하자니 너무 일이 커지니까요. 대표적인 LLM인 GPT3 175B 크기 모델을 학습할 수 있는 H/W에 접근 가능한 연구 그룹은 다들 뒷배경이 하나씩은 있....
  • profile
    Marigold 2023.05.16 19:11
    개인 혼자 하기는 버겁고, 정말 의견이 맞는 Cummunity 단위로 돈 모아서 만들거나, 아니면 어디 투자를 받던가 하는 것 외에는 힘들긴 하죠…

    RunPod으로 A100 80GB 8대 임대해서 24시간 돌리는 비용이 약 30만원 정도이니, 본격적으로 학습을 한다고 하면 몇 백은 우습죠…
  • profile
    ForGoTTen      결제중.... 2023.05.16 21:36
    저희랑 연 있는 스타트업이 요즘 200B정도 되는 모델을 돌리고 있는데...
    그 쪽은 자체 클러스터를 가지고 있지만 거기서 나오는 H/W failure가 장난이 아니라더군요...ㄷㄷ
  • profile
    Marigold 2023.05.16 21:41
    그래도 솔직히 Meta에서 LLM 유출이 없었다면, 일반 기업 입장에서는 시도 조차도 힘들었을 텐데, 논문으로 방법만 아는 것이 아니라 직접 뜯어 볼 수 있는 LLM까지 놓여 있으니 스타트업 단위에서도 돌아 가게 된 것이 아닐까 합니다.
  • profile
    ForGoTTen      결제중.... 2023.05.17 03:05
    아... 사실 그쪽은 자체 기술력이 좀 있는 회사입니다.
    AMD ROCm 공식 지원 전에 PyTorch 백엔드를 OpenCL로 모두 포팅할 정도로....
  • profile
    Marigold 2023.05.17 08:03
    오…
    대단하네요
  • profile
    BEE3E3      idolm@ster.email 2023.05.16 19:25
    원문 https://www.semianalysis.com/p/google-we-have-no-moat-and-neither
    번역 https://arca.live/b/live/75673342
    유출문건 읽어보고 싶으신분들은 참고해보시면 좋을 것 같네요
  • profile
    Marigold 2023.05.16 19:27
    번역문으로도 나왔군요.
  • profile
    title: 저사양파란화면 2023.05.17 00:10
    오픈소스로 공개를 하면 됐을 것을 굳이 유출이라는 형태를 취한 이유가 있을까요?
  • profile
    Marigold 2023.05.17 00:29
    사실 그 부분은 소수 의견이긴 합니다.
    처음 공개하였을 순간에도 오픈소스이지만, 인증된 연구자 자격만 접근 가능이었으니까, 인증된 연구원 중 하나라 유추가 되고는 있는데, 그렇다면 그들 중 하나라면 누가 유출했는지 왜 못 잡았는가란 말도 나오니까요.(...)

    결국, 유출 이후의 판도가 결국은 Meta LLM을 기준으로 개발이 진행이 되는 만큼 다른 빅테크 견제할 겸으로 일부러 저런 것 아니냐는 소수 의견이 나오는 것이 아닌가 싶어요.

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.


List of Articles
번호 분류 제목 글쓴이 날짜 조회 수
공지 이벤트 [23일] 마이크로닉스 MA-600T 쿨러를 드립니다 13 updatefile 낄낄 2024.04.17 513
51126 잡담 특이점이 온 RAZER의 MZ식 인스타 홍보 5 file Cliche 2023.09.01 671
51125 잡담 꾸진장비로 달과 토성 3 file 노코나 2023.09.01 519
51124 잡담 괜히 설랬네요 5 file 포도맛계란 2023.09.01 371
51123 잡담 n100과 함께 미니피시 붐은 다시 오나? 28 file 멘탈소진 2023.08.31 1762
51122 잡담 VGN N75 PRO 알리발 키보드 도착했습니다. 2 file 오꾸리 2023.08.31 737
51121 잡담 저녁으로 피자 두 판 먹으려다가 3 title: 가난한까마귀 2023.08.31 419
51120 잡담 글카 온도가 높아서 제이씨현 다녀왔는데 2 file title: 가난한카토메구미 2023.08.31 682
51119 잡담 인민토끼 열쇠고리 9 file title: 명사수M16 2023.08.31 537
51118 잡담 투니버스 프로모션 7 title: 가난한까마귀 2023.08.31 418
51117 잡담 로지텍 마우스 8 file title: 컴맹임시닉네임 2023.08.31 336
51116 잡담 전동 드라이버를 샀습니다 6 file title: 오타쿠아라 2023.08.31 391
51115 잡담 알리발 PCI-E to PCI 컨버터 와 3.3V SATA전원 6 file title: 가난한아이들링 2023.08.31 553
51114 잡담 오랜만에 컴퓨터에 비쥬얼 업그레이드 했습니다 ... 2 file 유에 2023.08.31 377
51113 잡담 BB탄 우지 기관단총을 구했습니다. 12 file title: 부장님유니 2023.08.31 539
51112 잡담 부탄츄 히야시츄카 2 file title: 컴맹까르르 2023.08.31 300
51111 잡담 야생에서 비만이 위험한 이유 14 title: 몰?루먀먀먀 2023.08.31 1043
51110 잡담 드디어... 이사갈 집을 찾았습니당....! 15 file 포도맛계란 2023.08.31 501
51109 잡담 아이폰을 써보나 했는데 아쉽네요 6 dmy01 2023.08.31 415
51108 잡담 S21울트라 배터리 교체 받았습니다. 7 리온미첼 2023.08.31 693
51107 잡담 오늘 진짜 뭔 일 있나, 비행기소리가 13 file title: 컴맹까르르 2023.08.31 620
목록
Board Pagination Prev 1 ... 217 218 219 220 221 222 223 224 225 226 ... 2778 Next
/ 2778

최근 코멘트 30개

한미마이크로닉스
MSI 코리아
AMD
더함

공지사항        사이트 약관        개인정보취급방침       신고와 건의


기글하드웨어는 2006년 6월 28일에 개설된 컴퓨터, 하드웨어, 모바일, 스마트폰, 게임, 소프트웨어, 디지털 카메라 관련 뉴스와 정보, 사용기를 공유하는 커뮤니티 사이트입니다.
개인 정보 보호, 개인 및 단체의 권리 침해, 사이트 운영, 관리, 제휴와 광고 관련 문의는 이메일로 보내주세요. 관리자 이메일

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소