ChatGPT로 GPT-4 이용하다 보면 종종 할당량 한계까지 달하는 것 때문에 Streamlit과 OpenAI Assistants API를 이용해서 GPT-4 대화창을 만들어 테스트를 해 보았더니, 토큰 소모가 어마어마 하군요.
(대충 할당량 한계에 도달하면, 지금까지 내용을 JSON으로 내려 받아서, Thread 생성 후 초기값으로 넣어주고서 대화를 이어나간다는 식으로...)
어차피 개인 용도로 쓰는 거여서 랭체인이나 파인콘 대신에 그냥 Assistants 썼는데, GPT-4 Turbo 물려주니까, 이 녀석이 생성은 거의 하지도 않으면서 Context에 어마어마하게 할당하나 봅니다.(...)
GPT 대화 기록을 입력하지 않은 상황에서도 저 정도면, 흠...
커뮤니티 게시판
:
아주 기본적인 네티켓만 지킨다면 자유롭게 쓸 수 있는 커뮤니티 게시판입니다. 포럼에서 다루는 주제는 각각의 포럼 게시판을 우선 이용해 주시고, 민감한 소재는 비공개 게시판이나 수상한 게시판에, 홍보는 홍보/외부 사용기 게시판에 써 주세요. 질문은 포럼 게시판의 질문/토론 카테고리를 사용해 주세요.
잡담
2023.12.20 21:05
토큰 소모량이 어마어마 하군요
조회 수 773
댓글 7
-
요즘은 저빼고 전세계 모든 개발자들이 gpt 쓰는것같아요
-
개발자 문서나 아니면 스택오버플로우 뒤지는 것보다 그냥 간단하게 어느 부분 찾아달라고 질의하는 것이 너무 편하더군요.
Github Copilot 최신 업데이트 이후에 제공되는 Chatbot에서 어떻게 돌아가나 관찰해보니 기본적으로 GPT-4로 초안 및 방향성을 위한 지시문을 작성하고, GPT-3.5로 확장 및 실제 답변을 주는 것을 보면, 이것도 영리하다 싶었네요.
다만, 이것도 순수 GPT-4 보다는 비용은 저렴하면서, GPT-3.5로만 하는 것보다는 품질이 좋겠으나, 어찌보면 어중간하죠. -
설마 한글로사용중이신건아니시죠?
요즘 미스트랄이 잘나왔다던데 런포트나 로컬은 어떠신지 -
당연히 영어로 사용합니다.(...)
그리고 비용보시면, 생성 토큰 보다 입력 토큰에 어마어마하게 할당하는 것을 보면, (약 16,000 토큰 생성하는데, 입력 토큰으로 약 1,200,000 토큰을 쓰고 있는 미친 효율을 보이고 있죠.(...)) 아무래도 설계부터가 문맥 유지에 최대한 초점을 맞춘 느낌이긴 해요.
실제로 써보니까 ChatGPT 보다 문맥 유지가 잘 되더라고요.(...)
ChatGPT 만들면서 얻은 노하우를 바탕으로 한 최신 설계를 기반으로 한다고 하는데, 여러모로 대단하달까 싶어요.
다만, 이 수준이면 실제 서비스로 만들 생각이라면, LangChain으로 직접 구현하는 편이 좋겠죠.
아무래도 입력 Context가 출력보다 저렴하다 해도 물량이 물량인 만큼, 가격의 압박에 장난이 아닐테니까요. -
그리고, 런포트나 로컬로 돌리는 비용도 실제 계산해보면, GPT-3.5 보다 저렴하지는 않더라고요.(...)
성능이 GPT-3.5를 넘느냐 하면, 그것도 아니면서 비용면에서는 그렇지도 않으니 아예 저렴하게 한다면 GPT-3.5가 좋을 것 같고, 더 높은 성능을 원한다면 GPT-4를 써야...
(개인적으로 Mixtral부터 여러 모델을 테스트 하면서 비용 계산을 하고 있는데, 이번에 OpenA가 비용을 확 내리면서 좀 애매해진 면이 크네요.) -
미스탈 제작사에서 조만간 새모델푼다고했으니 그것도 한번드셔보시죠 소문으로는 3.5와4의 중간이나 때때로4이상이란 소리도 있더라구요
-
소형 모델치고는 현재로서 성능이 높다는 점은 인정하고, 이번 moe 구조도 괜찮다고는 생각이 드는데, 당장 어제 Google Gemini Pro 실험한 것도 생각보다는 결과가 별로여서 기대치가 낮아지더라고요.
사실 가장 큰 문제가, Gemini Pro가 당장은 API도 무료로 풀려 있다보니 (물론 추후 유료화 하겠지만), 성능상으로 큰 우위가 있지 않다면 좀 힘들지 않을까 싶어요.
결국적으로 로컬 모델이라는 것이 사용자가 그 모델이 상시 또는 온디멘드로 구동할 환경을 갖추고 시작해야 하는데, 코스트 생각해보면 그닥 기존 서비스 대비 경제성이 크지는 않더라고요. (물론, 오픈 소스 자체로 공개가 된다는 점에 있어서는 개인적으로 높게 평가 합니다. 아마 말은 이렇게 적었지만, 분명 테스트는 해볼 것 같네요.)
작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.
번호 | 분류 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|---|
81180 | 잡담 | 윈10에서 윈11로 넘어갔던 이유 8 | 반다크홈 | 2024.01.21 | 792 |
81179 | 방구차 | 조용한 주말 기글에 시네벤치 2 | FactCore | 2024.01.21 | 223 |
81178 | 잡담 | 웬지 10cm 이내로 폰을 가져다 대면 뭔일이 생길... 10 | cowper | 2024.01.21 | 811 |
81177 | 잡담 | 밑에 알리 진짜 코카콜라네요? 4 | 냐아 | 2024.01.21 | 785 |
81176 | 잡담 | 몬가 교체 땡기는데... 라고 생각하면 이상하게, 1 | 360Ghz | 2024.01.21 | 361 |
81175 | 퍼온글 | ??: 솔직히 반지의 제왕 안본 애들이랑 일하기 힘... 7 | 360Ghz | 2024.01.20 | 803 |
81174 | 잡담 | KBS 고려거란전쟁, 나락으로 가더니 회복은 안될... 25 | hjk9860 | 2024.01.20 | 1116 |
81173 | 잡담 | S24를 가야되나... 21 | 슈베아츠 | 2024.01.20 | 811 |
81172 | 잡담 | the owl house | dmy01 | 2024.01.20 | 339 |
81171 | 잡담 | 키보드 LED 죽는 경우가 생각보다 많군요. 13 | 임시닉네임 | 2024.01.20 | 625 |
81170 | 핫딜 | (알리) ₩16602 코카콜라제로 355ml 24입+틴케이스 18 | 유니 | 2024.01.20 | 912 |
81169 | 퍼온글 | 쿠팡 vs. LG생건 맞다이 근황 8 | 유니 | 2024.01.20 | 1706 |
81168 | 장터 | [판매] WD Blue 3TB WD30EZAZ 5만원 외 4 | 임시닉네임 | 2024.01.20 | 660 |
81167 | 퍼온글 | 바깥은 위험하단다! 이 S24 중 하나를 데려가렴. 2 | 라데니안 | 2024.01.20 | 1000 |
81166 | 잡담 | 폰 질렀습니다 29 | 까르르 | 2024.01.20 | 624 |
81165 | 잡담 | 주섬주섬 7 | AKG-3 | 2024.01.20 | 351 |
81164 | 퍼온글 | 중소기업 경영자의 한탄.jpg 15 | 유니 | 2024.01.20 | 2842 |
81163 | 잡담 | 갤럭시 S24 실제 기기를 보고왔습니다. 8 | Neogury | 2024.01.20 | 936 |
81162 | 잡담 | 옛날 3만원 이럴 땐 상관 없었는데... 8 | 360Ghz | 2024.01.20 | 723 |
81161 | 퍼온글 | (공정 중립 재료 악) vs (공정 선 재료 중립) 7 | 360Ghz | 2024.01.20 | 584 |
81160 | 잡담 | 공항의 방치된 물건 처리 3 | 낄낄 | 2024.01.20 | 875 |
81159 | 장터 | [거래완료] (끌올) 사과폰 15 프로 2 | Neogury | 2024.01.20 | 599 |
81158 | 장터 | G14 RX6700S 노트북 / 한성 34인치 144Hz 울트라... 4 | 폴짝쥐 | 2024.01.20 | 557 |
81157 | 장터 | [판매완료]맥북에어 M1 기본형 5 | 모래맛사탕 | 2024.01.20 | 645 |
81156 | 잡담 | S24 울트라 고민되네요 7 | 스프라이트 | 2024.01.20 | 540 |
81155 | 잡담 | 포터블 모니터 필름 전후 비교 6 | Adora27 | 2024.01.20 | 520 |
81154 | 방구차 | 언제 핸드폰을 사도 돈이 안아까운 비법(9) 12 | PAIMON | 2024.01.20 | 635 |
81153 | 잡담 | 노트북 갈아치웠어요 3 | Koasing | 2024.01.20 | 382 |
81152 | 방구차 | 언제 핸드폰을 사도 돈이 안아까운 비법(8) 2 | 린네 | 2024.01.20 | 382 |
81151 | 방구차 | 언제 핸드폰을 사도 돈이 안아까운 비법 (7) 6 | 헥사곤윈 | 2024.01.20 | 294 |