요번에 메타에서 LLaMA 모델이 나왔는거 기억하실분은 기억하실겁니다. 경량으로 GPU 하나만으로 계산이 가능하죠...
그래서 제일 작은 것인 LLaMA 7B를 파이 4에서 돌렸습니다(...)
느리다고 하는군요.... 토큰 하나당 10초 소요...
아이구 지못미 파이 4....
참고/링크 | https://twitter.com/miolini/status/1634982361757790209 |
---|
요번에 메타에서 LLaMA 모델이 나왔는거 기억하실분은 기억하실겁니다. 경량으로 GPU 하나만으로 계산이 가능하죠...
그래서 제일 작은 것인 LLaMA 7B를 파이 4에서 돌렸습니다(...)
느리다고 하는군요.... 토큰 하나당 10초 소요...
아이구 지못미 파이 4....