Skip to content

기글하드웨어기글하드웨어

커뮤니티 게시판 : 아주 기본적인 네티켓만 지킨다면 자유롭게 쓸 수 있는 커뮤니티 게시판입니다. 포럼에서 다루는 주제는 각각의 포럼 게시판을 우선 이용해 주시고, 민감한 소재는 비공개 게시판이나 수상한 게시판에, 홍보는 홍보/외부 사용기 게시판에 써 주세요. 질문은 포럼 게시판의 질문/토론 카테고리를 사용해 주세요.

image.png


ChatGPT로 GPT-4 이용하다 보면 종종 할당량 한계까지 달하는 것 때문에 Streamlit과 OpenAI Assistants API를 이용해서 GPT-4 대화창을 만들어 테스트를 해 보았더니, 토큰 소모가 어마어마 하군요.
(대충 할당량 한계에 도달하면, 지금까지 내용을 JSON으로 내려 받아서, Thread 생성 후 초기값으로 넣어주고서 대화를 이어나간다는 식으로...)

어차피 개인 용도로 쓰는 거여서 랭체인이나 파인콘 대신에 그냥 Assistants 썼는데, GPT-4 Turbo 물려주니까, 이 녀석이 생성은 거의 하지도 않으면서 Context에 어마어마하게 할당하나 봅니다.(...)

GPT 대화 기록을 입력하지 않은 상황에서도 저 정도면, 흠...



  • profile
    이유제 2023.12.20 23:41
    요즘은 저빼고 전세계 모든 개발자들이 gpt 쓰는것같아요
  • profile
    Marigold 2023.12.21 00:42
    개발자 문서나 아니면 스택오버플로우 뒤지는 것보다 그냥 간단하게 어느 부분 찾아달라고 질의하는 것이 너무 편하더군요.
    Github Copilot 최신 업데이트 이후에 제공되는 Chatbot에서 어떻게 돌아가나 관찰해보니 기본적으로 GPT-4로 초안 및 방향성을 위한 지시문을 작성하고, GPT-3.5로 확장 및 실제 답변을 주는 것을 보면, 이것도 영리하다 싶었네요.
    다만, 이것도 순수 GPT-4 보다는 비용은 저렴하면서, GPT-3.5로만 하는 것보다는 품질이 좋겠으나, 어찌보면 어중간하죠.
  • profile
    title: 몰?루스와마망      어-흥! 장난이야! 2023.12.20 23:46
    설마 한글로사용중이신건아니시죠?
    요즘 미스트랄이 잘나왔다던데 런포트나 로컬은 어떠신지
  • profile
    Marigold 2023.12.21 00:35
    당연히 영어로 사용합니다.(...)
    그리고 비용보시면, 생성 토큰 보다 입력 토큰에 어마어마하게 할당하는 것을 보면, (약 16,000 토큰 생성하는데, 입력 토큰으로 약 1,200,000 토큰을 쓰고 있는 미친 효율을 보이고 있죠.(...)) 아무래도 설계부터가 문맥 유지에 최대한 초점을 맞춘 느낌이긴 해요.
    실제로 써보니까 ChatGPT 보다 문맥 유지가 잘 되더라고요.(...)

    ChatGPT 만들면서 얻은 노하우를 바탕으로 한 최신 설계를 기반으로 한다고 하는데, 여러모로 대단하달까 싶어요.

    다만, 이 수준이면 실제 서비스로 만들 생각이라면, LangChain으로 직접 구현하는 편이 좋겠죠.
    아무래도 입력 Context가 출력보다 저렴하다 해도 물량이 물량인 만큼, 가격의 압박에 장난이 아닐테니까요.
  • profile
    Marigold 2023.12.21 00:39
    그리고, 런포트나 로컬로 돌리는 비용도 실제 계산해보면, GPT-3.5 보다 저렴하지는 않더라고요.(...)
    성능이 GPT-3.5를 넘느냐 하면, 그것도 아니면서 비용면에서는 그렇지도 않으니 아예 저렴하게 한다면 GPT-3.5가 좋을 것 같고, 더 높은 성능을 원한다면 GPT-4를 써야...

    (개인적으로 Mixtral부터 여러 모델을 테스트 하면서 비용 계산을 하고 있는데, 이번에 OpenA가 비용을 확 내리면서 좀 애매해진 면이 크네요.)
  • profile
    title: 몰?루스와마망      어-흥! 장난이야! 2023.12.21 00:57
    미스탈 제작사에서 조만간 새모델푼다고했으니 그것도 한번드셔보시죠 소문으로는 3.5와4의 중간이나 때때로4이상이란 소리도 있더라구요
  • profile
    Marigold 2023.12.21 01:06
    소형 모델치고는 현재로서 성능이 높다는 점은 인정하고, 이번 moe 구조도 괜찮다고는 생각이 드는데, 당장 어제 Google Gemini Pro 실험한 것도 생각보다는 결과가 별로여서 기대치가 낮아지더라고요.

    사실 가장 큰 문제가, Gemini Pro가 당장은 API도 무료로 풀려 있다보니 (물론 추후 유료화 하겠지만), 성능상으로 큰 우위가 있지 않다면 좀 힘들지 않을까 싶어요.

    결국적으로 로컬 모델이라는 것이 사용자가 그 모델이 상시 또는 온디멘드로 구동할 환경을 갖추고 시작해야 하는데, 코스트 생각해보면 그닥 기존 서비스 대비 경제성이 크지는 않더라고요. (물론, 오픈 소스 자체로 공개가 된다는 점에 있어서는 개인적으로 높게 평가 합니다. 아마 말은 이렇게 적었지만, 분명 테스트는 해볼 것 같네요.)

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.


List of Articles
번호 분류 제목 글쓴이 날짜 조회 수
81176 잡담 몬가 교체 땡기는데... 라고 생각하면 이상하게, 1 file 360Ghz 2024.01.21 361
81175 퍼온글 ??: 솔직히 반지의 제왕 안본 애들이랑 일하기 힘... 7 file 360Ghz 2024.01.20 803
81174 잡담 KBS 고려거란전쟁, 나락으로 가더니 회복은 안될... 25 hjk9860 2024.01.20 1116
81173 잡담 S24를 가야되나... 21 file 슈베아츠 2024.01.20 811
81172 잡담 the owl house dmy01 2024.01.20 339
81171 잡담 키보드 LED 죽는 경우가 생각보다 많군요. 13 file title: 컴맹임시닉네임 2024.01.20 624
81170 핫딜 (알리) ₩16602 코카콜라제로 355ml 24입+틴케이스 18 file title: 부장님유니 2024.01.20 912
81169 퍼온글 쿠팡 vs. LG생건 맞다이 근황 8 file title: 부장님유니 2024.01.20 1706
81168 장터 [판매] WD Blue 3TB WD30EZAZ 5만원 외 4 file title: 컴맹임시닉네임 2024.01.20 660
81167 퍼온글 바깥은 위험하단다! 이 S24 중 하나를 데려가렴. 2 file 라데니안 2024.01.20 1000
81166 잡담 폰 질렀습니다 29 file title: 컴맹까르르 2024.01.20 624
81165 잡담 주섬주섬 7 file title: 가난한AKG-3 2024.01.20 351
81164 퍼온글 중소기업 경영자의 한탄.jpg 15 file title: 부장님유니 2024.01.20 2842
81163 잡담 갤럭시 S24 실제 기기를 보고왔습니다. 8 file Neogury 2024.01.20 936
81162 잡담 옛날 3만원 이럴 땐 상관 없었는데... 8 file 360Ghz 2024.01.20 723
81161 퍼온글 (공정 중립 재료 악) vs (공정 선 재료 중립) 7 file 360Ghz 2024.01.20 584
81160 잡담 공항의 방치된 물건 처리 3 file 낄낄 2024.01.20 875
81159 장터 [거래완료] (끌올) 사과폰 15 프로 2 Neogury 2024.01.20 599
81158 장터 G14 RX6700S 노트북 / 한성 34인치 144Hz 울트라... 4 폴짝쥐 2024.01.20 557
81157 장터 [판매완료]맥북에어 M1 기본형 5 file title: 몰?루모래맛사탕 2024.01.20 645
81156 잡담 S24 울트라 고민되네요 7 스프라이트 2024.01.20 540
81155 잡담 포터블 모니터 필름 전후 비교 6 file Adora27 2024.01.20 520
81154 방구차 언제 핸드폰을 사도 돈이 안아까운 비법(9) 12 file PAIMON 2024.01.20 635
81153 잡담 노트북 갈아치웠어요 3 Koasing 2024.01.20 382
81152 방구차 언제 핸드폰을 사도 돈이 안아까운 비법(8) 2 file title: 명사수린네 2024.01.20 382
81151 방구차 언제 핸드폰을 사도 돈이 안아까운 비법 (7) 6 file 헥사곤윈 2024.01.20 294
81150 방구차 언제 핸드폰을 사도 돈이 안아까운 비법 (6) 6 file title: 저사양파란화면 2024.01.20 350
81149 잡담 초회한정판은 비싸군요... 2 file title: 삼성MUGEN 2024.01.20 435
81148 잡담 언제 핸드폰을 사도 돈이 안아까운 비법(5) 10 file HAYAN 2024.01.20 350
81147 잡담 카스를 오랫만에 해보니 카스2로 바뀌어있네요 9 file 고자되기 2024.01.19 392
목록
Board Pagination Prev 1 ... 80 81 82 83 84 85 86 87 88 89 ... 2790 Next
/ 2790

최근 코멘트 30개

더함
MSI 코리아
한미마이크로닉스
AMD

공지사항        사이트 약관        개인정보취급방침       신고와 건의


기글하드웨어는 2006년 6월 28일에 개설된 컴퓨터, 하드웨어, 모바일, 스마트폰, 게임, 소프트웨어, 디지털 카메라 관련 뉴스와 정보, 사용기를 공유하는 커뮤니티 사이트입니다.
개인 정보 보호, 개인 및 단체의 권리 침해, 사이트 운영, 관리, 제휴와 광고 관련 문의는 이메일로 보내주세요. 관리자 이메일

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소