ChatGPT로 GPT-4 이용하다 보면 종종 할당량 한계까지 달하는 것 때문에 Streamlit과 OpenAI Assistants API를 이용해서 GPT-4 대화창을 만들어 테스트를 해 보았더니, 토큰 소모가 어마어마 하군요.
(대충 할당량 한계에 도달하면, 지금까지 내용을 JSON으로 내려 받아서, Thread 생성 후 초기값으로 넣어주고서 대화를 이어나간다는 식으로...)
어차피 개인 용도로 쓰는 거여서 랭체인이나 파인콘 대신에 그냥 Assistants 썼는데, GPT-4 Turbo 물려주니까, 이 녀석이 생성은 거의 하지도 않으면서 Context에 어마어마하게 할당하나 봅니다.(...)
GPT 대화 기록을 입력하지 않은 상황에서도 저 정도면, 흠...
커뮤니티 게시판
:
아주 기본적인 네티켓만 지킨다면 자유롭게 쓸 수 있는 커뮤니티 게시판입니다. 포럼에서 다루는 주제는 각각의 포럼 게시판을 우선 이용해 주시고, 민감한 소재는 비공개 게시판이나 수상한 게시판에, 홍보는 홍보/외부 사용기 게시판에 써 주세요. 질문은 포럼 게시판의 질문/토론 카테고리를 사용해 주세요.
잡담
2023.12.20 21:05
토큰 소모량이 어마어마 하군요
조회 수 773
댓글 7
-
요즘은 저빼고 전세계 모든 개발자들이 gpt 쓰는것같아요
-
개발자 문서나 아니면 스택오버플로우 뒤지는 것보다 그냥 간단하게 어느 부분 찾아달라고 질의하는 것이 너무 편하더군요.
Github Copilot 최신 업데이트 이후에 제공되는 Chatbot에서 어떻게 돌아가나 관찰해보니 기본적으로 GPT-4로 초안 및 방향성을 위한 지시문을 작성하고, GPT-3.5로 확장 및 실제 답변을 주는 것을 보면, 이것도 영리하다 싶었네요.
다만, 이것도 순수 GPT-4 보다는 비용은 저렴하면서, GPT-3.5로만 하는 것보다는 품질이 좋겠으나, 어찌보면 어중간하죠. -
설마 한글로사용중이신건아니시죠?
요즘 미스트랄이 잘나왔다던데 런포트나 로컬은 어떠신지 -
당연히 영어로 사용합니다.(...)
그리고 비용보시면, 생성 토큰 보다 입력 토큰에 어마어마하게 할당하는 것을 보면, (약 16,000 토큰 생성하는데, 입력 토큰으로 약 1,200,000 토큰을 쓰고 있는 미친 효율을 보이고 있죠.(...)) 아무래도 설계부터가 문맥 유지에 최대한 초점을 맞춘 느낌이긴 해요.
실제로 써보니까 ChatGPT 보다 문맥 유지가 잘 되더라고요.(...)
ChatGPT 만들면서 얻은 노하우를 바탕으로 한 최신 설계를 기반으로 한다고 하는데, 여러모로 대단하달까 싶어요.
다만, 이 수준이면 실제 서비스로 만들 생각이라면, LangChain으로 직접 구현하는 편이 좋겠죠.
아무래도 입력 Context가 출력보다 저렴하다 해도 물량이 물량인 만큼, 가격의 압박에 장난이 아닐테니까요. -
그리고, 런포트나 로컬로 돌리는 비용도 실제 계산해보면, GPT-3.5 보다 저렴하지는 않더라고요.(...)
성능이 GPT-3.5를 넘느냐 하면, 그것도 아니면서 비용면에서는 그렇지도 않으니 아예 저렴하게 한다면 GPT-3.5가 좋을 것 같고, 더 높은 성능을 원한다면 GPT-4를 써야...
(개인적으로 Mixtral부터 여러 모델을 테스트 하면서 비용 계산을 하고 있는데, 이번에 OpenA가 비용을 확 내리면서 좀 애매해진 면이 크네요.) -
미스탈 제작사에서 조만간 새모델푼다고했으니 그것도 한번드셔보시죠 소문으로는 3.5와4의 중간이나 때때로4이상이란 소리도 있더라구요
-
소형 모델치고는 현재로서 성능이 높다는 점은 인정하고, 이번 moe 구조도 괜찮다고는 생각이 드는데, 당장 어제 Google Gemini Pro 실험한 것도 생각보다는 결과가 별로여서 기대치가 낮아지더라고요.
사실 가장 큰 문제가, Gemini Pro가 당장은 API도 무료로 풀려 있다보니 (물론 추후 유료화 하겠지만), 성능상으로 큰 우위가 있지 않다면 좀 힘들지 않을까 싶어요.
결국적으로 로컬 모델이라는 것이 사용자가 그 모델이 상시 또는 온디멘드로 구동할 환경을 갖추고 시작해야 하는데, 코스트 생각해보면 그닥 기존 서비스 대비 경제성이 크지는 않더라고요. (물론, 오픈 소스 자체로 공개가 된다는 점에 있어서는 개인적으로 높게 평가 합니다. 아마 말은 이렇게 적었지만, 분명 테스트는 해볼 것 같네요.)
작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.
번호 | 분류 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|---|
81122 | 방구차 | 갤캠스가 좋긴 좋네요 7 | 유지니1203 | 2024.01.19 | 663 |
81121 | 방구차 | 재주문) 24 울트라 구매 완료. 7 | 카토메구미 | 2024.01.19 | 497 |
81120 | 잡담 | 어쩌다보니 하나씩 모으게 되었네요. 3 | MUGEN | 2024.01.19 | 308 |
81119 | 잡담 | 몰렉스 커넥터를 찝으려면 압착기도 필요하군요... 19 | 마초코 | 2024.01.18 | 741 |
81118 | 잡담 | 갤럭시가 새로 나오니까 19 | 뚜찌`zXie | 2024.01.18 | 830 |
81117 | 방구차 | 새거라고 샀는데 중고인 ssd 방구차... 5 | 망극이 | 2024.01.18 | 572 |
81116 | 잡담 | 비전 74 RC카가 나왔네요 7 | 한우 | 2024.01.18 | 681 |
81115 | 잡담 | 우리는 그걸.. 36 | 360Ghz | 2024.01.18 | 569 |
81114 | 잡담 | 4DX빨 잘 받는 애니 보고 왔습니다. 10 | 유니 | 2024.01.18 | 475 |
81113 | 잡담 | 인간은 탈주 못하지만, 물건은 탈주가 가능한... 2 | 책읽는달팽 | 2024.01.18 | 493 |
81112 | 잡담 | 오..... 6 | 바보괭이 | 2024.01.18 | 291 |
81111 | 잡담 | 갤럭시 알 문구를 오프라인번역 돌려보았습니다 7 | 야고 | 2024.01.18 | 536 |
81110 | 잡담 | 록타이트 이액형 에폭시 사 5 | 강제 | 2024.01.18 | 507 |
81109 | 퍼온글 | 이썹님 갤럭시번역 영상이 이부분이네요. 6 | 고자되기 | 2024.01.18 | 733 |
81108 | 잡담 | 산업혁명 시기 맞벌이 노동자들에게 기적이던 약 4 | 유니 | 2024.01.18 | 657 |
81107 | 퍼온글 | 사우디도 날렸다!! 15 | 카토메구미 | 2024.01.18 | 824 |
81106 | 잡담 | s24의 번역 능력? 11 | 왓땃따뚜겐 | 2024.01.18 | 770 |
81105 | 잡담 | 일본 출장 후 기글 부작용? 14 | neon | 2024.01.18 | 557 |
81104 | 퍼온글 | 맥도날드 소시지 스낵랩 없어졌습니다. 7 | 유니 | 2024.01.18 | 639 |
81103 | 잡담 | S24 시리즈 와일드라이프 돌려봤습니다 25 | 슈베아츠 | 2024.01.18 | 797 |
81102 | 잡담 | WD40 랩핑한 아반떼 20 | M16 | 2024.01.18 | 1278 |
81101 | 퍼온글 | 중국집의 김치찌개 라면 3 | 유니 | 2024.01.18 | 680 |
81100 | 잡담 | 이제 울라리가 널리 퍼졌습니다. 7 | 360Ghz | 2024.01.18 | 491 |
81099 | 잡담 | 회사에사 보글보글 키감 키보드 화딱지가 나서 그... 9 | dmy01 | 2024.01.18 | 558 |
81098 | 퍼온글 | 중국연구진 치사율100% 코로나변이 제조 7 | 까르르 | 2024.01.18 | 623 |
81097 | 퍼온글 | 예멘에서 열린 열병식 1 | 고자되기 | 2024.01.18 | 428 |
81096 | 잡담 | S24 보고 있는데 실물이 훨씬 낫네요 15 | 슈베아츠 | 2024.01.18 | 979 |
81095 | 퍼온글 | Mz공무원 퇴사 막는방법... 21 | 유니 | 2024.01.18 | 911 |
81094 | 잡담 | 읽기전용으로 변해버린 삼성 SSD 10 | ProRes | 2024.01.18 | 846 |
81093 | 잡담 | 하암님의 라이젠 본체 수령기입니다. 5 | 시로이소닉 | 2024.01.18 | 484 |