Skip to content

기글하드웨어기글하드웨어

커뮤니티 게시판 : 아주 기본적인 네티켓만 지킨다면 자유롭게 쓸 수 있는 커뮤니티 게시판입니다. 포럼에서 다루는 주제는 각각의 포럼 게시판을 우선 이용해 주시고, 민감한 소재는 비공개 게시판이나 수상한 게시판에, 홍보는 홍보/외부 사용기 게시판에 써 주세요. 질문은 포럼 게시판의 질문/토론 카테고리를 사용해 주세요.

image.png


ChatGPT로 GPT-4 이용하다 보면 종종 할당량 한계까지 달하는 것 때문에 Streamlit과 OpenAI Assistants API를 이용해서 GPT-4 대화창을 만들어 테스트를 해 보았더니, 토큰 소모가 어마어마 하군요.
(대충 할당량 한계에 도달하면, 지금까지 내용을 JSON으로 내려 받아서, Thread 생성 후 초기값으로 넣어주고서 대화를 이어나간다는 식으로...)

어차피 개인 용도로 쓰는 거여서 랭체인이나 파인콘 대신에 그냥 Assistants 썼는데, GPT-4 Turbo 물려주니까, 이 녀석이 생성은 거의 하지도 않으면서 Context에 어마어마하게 할당하나 봅니다.(...)

GPT 대화 기록을 입력하지 않은 상황에서도 저 정도면, 흠...



  • profile
    이유제 2023.12.20 23:41
    요즘은 저빼고 전세계 모든 개발자들이 gpt 쓰는것같아요
  • profile
    Marigold 2023.12.21 00:42
    개발자 문서나 아니면 스택오버플로우 뒤지는 것보다 그냥 간단하게 어느 부분 찾아달라고 질의하는 것이 너무 편하더군요.
    Github Copilot 최신 업데이트 이후에 제공되는 Chatbot에서 어떻게 돌아가나 관찰해보니 기본적으로 GPT-4로 초안 및 방향성을 위한 지시문을 작성하고, GPT-3.5로 확장 및 실제 답변을 주는 것을 보면, 이것도 영리하다 싶었네요.
    다만, 이것도 순수 GPT-4 보다는 비용은 저렴하면서, GPT-3.5로만 하는 것보다는 품질이 좋겠으나, 어찌보면 어중간하죠.
  • profile
    title: 몰?루스와마망      어-흥! 장난이야! 2023.12.20 23:46
    설마 한글로사용중이신건아니시죠?
    요즘 미스트랄이 잘나왔다던데 런포트나 로컬은 어떠신지
  • profile
    Marigold 2023.12.21 00:35
    당연히 영어로 사용합니다.(...)
    그리고 비용보시면, 생성 토큰 보다 입력 토큰에 어마어마하게 할당하는 것을 보면, (약 16,000 토큰 생성하는데, 입력 토큰으로 약 1,200,000 토큰을 쓰고 있는 미친 효율을 보이고 있죠.(...)) 아무래도 설계부터가 문맥 유지에 최대한 초점을 맞춘 느낌이긴 해요.
    실제로 써보니까 ChatGPT 보다 문맥 유지가 잘 되더라고요.(...)

    ChatGPT 만들면서 얻은 노하우를 바탕으로 한 최신 설계를 기반으로 한다고 하는데, 여러모로 대단하달까 싶어요.

    다만, 이 수준이면 실제 서비스로 만들 생각이라면, LangChain으로 직접 구현하는 편이 좋겠죠.
    아무래도 입력 Context가 출력보다 저렴하다 해도 물량이 물량인 만큼, 가격의 압박에 장난이 아닐테니까요.
  • profile
    Marigold 2023.12.21 00:39
    그리고, 런포트나 로컬로 돌리는 비용도 실제 계산해보면, GPT-3.5 보다 저렴하지는 않더라고요.(...)
    성능이 GPT-3.5를 넘느냐 하면, 그것도 아니면서 비용면에서는 그렇지도 않으니 아예 저렴하게 한다면 GPT-3.5가 좋을 것 같고, 더 높은 성능을 원한다면 GPT-4를 써야...

    (개인적으로 Mixtral부터 여러 모델을 테스트 하면서 비용 계산을 하고 있는데, 이번에 OpenA가 비용을 확 내리면서 좀 애매해진 면이 크네요.)
  • profile
    title: 몰?루스와마망      어-흥! 장난이야! 2023.12.21 00:57
    미스탈 제작사에서 조만간 새모델푼다고했으니 그것도 한번드셔보시죠 소문으로는 3.5와4의 중간이나 때때로4이상이란 소리도 있더라구요
  • profile
    Marigold 2023.12.21 01:06
    소형 모델치고는 현재로서 성능이 높다는 점은 인정하고, 이번 moe 구조도 괜찮다고는 생각이 드는데, 당장 어제 Google Gemini Pro 실험한 것도 생각보다는 결과가 별로여서 기대치가 낮아지더라고요.

    사실 가장 큰 문제가, Gemini Pro가 당장은 API도 무료로 풀려 있다보니 (물론 추후 유료화 하겠지만), 성능상으로 큰 우위가 있지 않다면 좀 힘들지 않을까 싶어요.

    결국적으로 로컬 모델이라는 것이 사용자가 그 모델이 상시 또는 온디멘드로 구동할 환경을 갖추고 시작해야 하는데, 코스트 생각해보면 그닥 기존 서비스 대비 경제성이 크지는 않더라고요. (물론, 오픈 소스 자체로 공개가 된다는 점에 있어서는 개인적으로 높게 평가 합니다. 아마 말은 이렇게 적었지만, 분명 테스트는 해볼 것 같네요.)

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.


List of Articles
번호 분류 제목 글쓴이 날짜 조회 수
81122 방구차 갤캠스가 좋긴 좋네요 7 file 유지니1203 2024.01.19 663
81121 방구차 재주문) 24 울트라 구매 완료. 7 file title: 가난한카토메구미 2024.01.19 497
81120 잡담 어쩌다보니 하나씩 모으게 되었네요. 3 file title: 삼성MUGEN 2024.01.19 308
81119 잡담 몰렉스 커넥터를 찝으려면 압착기도 필요하군요... 19 file title: 민트초코마초코 2024.01.18 741
81118 잡담 갤럭시가 새로 나오니까 19 뚜찌`zXie 2024.01.18 830
81117 방구차 새거라고 샀는데 중고인 ssd 방구차... 5 file 망극이 2024.01.18 572
81116 잡담 비전 74 RC카가 나왔네요 7 file 한우 2024.01.18 681
81115 잡담 우리는 그걸.. 36 file 360Ghz 2024.01.18 569
81114 잡담 4DX빨 잘 받는 애니 보고 왔습니다. 10 file title: 부장님유니 2024.01.18 475
81113 잡담 인간은 탈주 못하지만, 물건은 탈주가 가능한... 2 file title: 폭8책읽는달팽 2024.01.18 493
81112 잡담 오..... 6 file title: 오타쿠바보괭이 2024.01.18 291
81111 잡담 갤럭시 알 문구를 오프라인번역 돌려보았습니다 7 file title: 오타쿠야고 2024.01.18 536
81110 잡담 록타이트 이액형 에폭시 사 5 file 강제 2024.01.18 507
81109 퍼온글 이썹님 갤럭시번역 영상이 이부분이네요. 6 file 고자되기 2024.01.18 733
81108 잡담 산업혁명 시기 맞벌이 노동자들에게 기적이던 약 4 file title: 부장님유니 2024.01.18 657
81107 퍼온글 사우디도 날렸다!! 15 file title: 가난한카토메구미 2024.01.18 824
81106 잡담 s24의 번역 능력? 11 file 왓땃따뚜겐 2024.01.18 770
81105 잡담 일본 출장 후 기글 부작용? 14 file neon 2024.01.18 557
81104 퍼온글 맥도날드 소시지 스낵랩 없어졌습니다. 7 file title: 부장님유니 2024.01.18 639
81103 잡담 S24 시리즈 와일드라이프 돌려봤습니다 25 file 슈베아츠 2024.01.18 797
81102 잡담 WD40 랩핑한 아반떼 20 file title: 명사수M16 2024.01.18 1278
81101 퍼온글 중국집의 김치찌개 라면 3 title: 부장님유니 2024.01.18 680
81100 잡담 이제 울라리가 널리 퍼졌습니다. 7 file 360Ghz 2024.01.18 491
81099 잡담 회사에사 보글보글 키감 키보드 화딱지가 나서 그... 9 dmy01 2024.01.18 558
81098 퍼온글 중국연구진 치사율100% 코로나변이 제조 7 title: 컴맹까르르 2024.01.18 623
81097 퍼온글 예멘에서 열린 열병식 1 file 고자되기 2024.01.18 428
81096 잡담 S24 보고 있는데 실물이 훨씬 낫네요 15 file 슈베아츠 2024.01.18 979
81095 퍼온글 Mz공무원 퇴사 막는방법... 21 file title: 부장님유니 2024.01.18 911
81094 잡담 읽기전용으로 변해버린 삼성 SSD 10 file ProRes 2024.01.18 846
81093 잡담 하암님의 라이젠 본체 수령기입니다. 5 file 시로이소닉 2024.01.18 484
목록
Board Pagination Prev 1 ... 82 83 84 85 86 87 88 89 90 91 ... 2791 Next
/ 2791

MSI 코리아
AMD
더함
한미마이크로닉스

공지사항        사이트 약관        개인정보취급방침       신고와 건의


기글하드웨어는 2006년 6월 28일에 개설된 컴퓨터, 하드웨어, 모바일, 스마트폰, 게임, 소프트웨어, 디지털 카메라 관련 뉴스와 정보, 사용기를 공유하는 커뮤니티 사이트입니다.
개인 정보 보호, 개인 및 단체의 권리 침해, 사이트 운영, 관리, 제휴와 광고 관련 문의는 이메일로 보내주세요. 관리자 이메일

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소