인텔 NPU에서 컴팩트 AI를 실행하는 NPU 가속 라이브러리가 오픈 소스로 제공됩니다. 인텔 소프트웨어 아키텍트에 의하면 Gemma-2b나 TinyLlama 같은 소형 언어 모델을 로컬에서 실행할 수 있다고 합니다. 아래는 코어 울트라가 탑재된 MSI 프리스티지 16 AI 노트북에서 실행한 결과입니다.
참고/링크 | https://twitter.com/tonymongkolsmai/stat...2486583433 |
---|
인텔 NPU에서 컴팩트 AI를 실행하는 NPU 가속 라이브러리가 오픈 소스로 제공됩니다. 인텔 소프트웨어 아키텍트에 의하면 Gemma-2b나 TinyLlama 같은 소형 언어 모델을 로컬에서 실행할 수 있다고 합니다. 아래는 코어 울트라가 탑재된 MSI 프리스티지 16 AI 노트북에서 실행한 결과입니다.
물론 10개 모아도 엔당 플래그쉽 하나만 못할 느낌이지만요