구글은 이제 코드의 1/4을 AI로 짠다고 발표했습니다. AI한테 코드 작성을 시키는 건 별로 대단한 일은 아니지만, 구글 같은 대형 업체에서 쓰는 건 또 다른 이야기겠지요. 물론 이렇게 작성된 코드는 엔지니어가 검토한 후에야 사용합니다.
https://blog.google/inside-google/message-ceo/alphabet-earnings-q3-2024/#full-stack-approach
중국은 미국의 제재에도 불구하고 세계 최대 규모의 AI 클러스터를 구축할 만큼의 프로세서를 확보했다고 합니다. NVIDIA가 올해에만 90만 대의 HGX H20을 공식 수출하고 내년에는 B20을 백만대 이상 공급합니다. 다른 곳을 거쳐서 판매하는 비공식 수입까지 포함하면 더 늘어나겠죠.
https://www.semianalysis.com/p/fab-whack-a-mole-chinese-companies
오픈AI는 한 때 자체 팹을 세워서 칩을 직접 만들겠다고 투자자를 모았으나, 지금은 그 계획을 중단하고 브로드컴의 커스텀 칩을 사용하며 MS 애저를 통해 AMD 인스팅트 MI300X를 대량 사용합니다.
https://www.reuters.com/technology/artificial-intelligence/openai-builds-first-chip-with-broadcom-tsmc-scales-back-foundry-ambition-2024-10-29/
라이젠 AI 300은 LLM AI 성능에서 루나레이크보다 27% 더 빠른 토큰 생성 성능을 제공합니다. 다만 라이젠 AI 9 HX 375와 인텔 코어 7 258V의 비교니까 상대가 안 되는 건 당연할지도.
https://community.amd.com/t5/ai/accelerating-llama-cpp-performance-in-consumer-llm-applications/ba-p/720311
카덴스는 AI 기반 칩 설계 도구가 제조 공정의 성능을 향상시키는데 도움이 된다고 밝혔습니다. 전력 대 면적(PPA)의 경우 15~20% 가량 개선되기도 한다네요. 하지만 새로운 노드에는 제한적인 효과가 있습니다.
https://www.tomshardware.com/tech-industry/cadence-says-its-ai-driven-chip-design-tools-provide-a-process-nodes-worth-of-performance-gain-but-without-moving-forward-to-a-new-node
메타는 10만 개가 넘는 NVIDIA H100 AI GPU를 사용해서 Llama-4를 훈련하고 있습니다. 주커버그는 자신이 본 것보다 더 큰 클러스터를 써서 훈련 중이라고도 밝혔습니다.
https://www.wired.com/story/meta-llama-ai-gpu-training/
일론 머스크와 그의 회사도 만만치 않습니다. 2024년에 AI 훈련을 위한 하드웨어에만 100억 달러를 지출한다는 이야기가 있네요. 여기에는 NVIDIA H100, 테슬라의 자체 개발 AI 칩인 도조 등이 모두 포함됩니다.
https://x.com/SawyerMerritt/status/1851131105954435368/
책읽는달팽
