요새 챗GPT에 맞서서 AI를 개발하는 회사들이 많습니다. 그 중 하나가 Anthropic의 채팅봇인 Claude인데요. 컨텍스트 창을 9천 토큰에서 10만 토큰으로 확장했다고 발표했습니다.
10만 토큰이면 7만 5천 단어에 해당됩니다. 사람은 10만 토큰의 텍스트를 읽는 데 5시간이 걸리고, 그걸 분석하고 기억하는 데에는 시간이 더 오래 걸립니다. 하지만 Claude는 1분 안에 그 과정을 마칩니다.
소설 '위대한 개츠비' 전체를 7만 2천 토큰의 Claude-Instant에 올리고, 그 대사 일부를 편집해서 '원래 대사는 무엇인가?'라고 물었는데 22초 만에 올바른 답을 냈다고 합니다.
이건 그냥 물량빨로 다 되는거 아닌가 싶지만... 다른 회사들도 비슷하게 용량을 늘리겠지요?
구글, 가짜 이미지를 구별하는 기능을 제공할 예정
OCCT 20주년
아라
Neons
책읽는달팽
13B 기준으로 4090으로 LoRA 적용해서 Finetune 해서 잘 돌아가던 모델도, 토큰 수를 두 배로 늘리면 필요 자원이 두 배로 늘어서 Out of memory 나오기도 하고…
사실상 가정에서 LLM 구동하고 finetune 하는 것은 13B 기준으로 2K 토큰 정도가 한계고, OpenAI(200B에 32K 토큰) 수준이나 저기 발표한 수준으로 한다면 답변을 받기 전에 직접 읽고 해석하는 것이 빠르지 않을까 싶어요.
그래도, 지난 달 수준에서 대비하여 개인 컴퓨터로도 고성능의 LLM이 돌아가고 여러 기법을 적용하면 65B도 어찌어찌 실시간으로 돌아갈 정도가 되었으니 많이 발전하긴 했네요.