가전 / 가젯 / 테크 : 가전 제품, 멀티미디어, 각종 IT 기기와 여기에 관련된 기술의 이야기, 소식, 테스트, 정보를 올리는 게시판입니다.

소식

2024.09.21 01:03

KAIST 한동수 연구팀, 소비자용 비디오 카드 여럿 묶어 AI 학습 가능케 하는 기술 개발

"시간이 지나면 이통사 수입이 남으면 틀림없이 요금을 내릴 겁니다." - 오남석

조회 수 1616 댓글 7

Extra Form
참고/링크	https://n.news.naver.com/mnews/article/092/0002345935

[언론 보도]

韓-美, "가정용 GPU로 기존 104배 넘는 초고효율 AI학습 가속기술 개발"

2024년 9월 19일 지디넷코리아 기사입니다.

기존에는 AI 모델 학습을 위해 H100 여러 대와 400 Gbps급 네트워크가 필요했습니다. KAIST 박사 임휘준, 박사과정 학생 예준철, UC 어바인 교수 산기타 압두 조시(Sangeetha Abdu Jyothi)와 공동으로 진행한 연구로 개발한 스텔라트레인(StellaTrain)이라는 분산 학습 프레임워크는 일반 인터넷 환경에서도 효율적 분산 학습이 가능하도록 합니다. 네트워크 속도에 맞추어 데이터를 압축 및 전송하는 알고리즘을 적용했기 때문입니다.

CPU와 GPU를 병렬로 연결해 학습 속도를 높이고, 작업 단계별로 나눠 처리하는 파이프라인 기술도 도입하였습니다. 모델별 GPU 활용률 실시간 모니터링도 가능합니다.

스텔라트레인을 사용하면 기존 데이터 병렬 학습보다 최대 104 배 빠릅니다.

삭제 요청

목록 스크랩

위로 아래로 댓글로 가기

Comments '7'

스와마망 어-흥! 장난이야! 2024.09.21 09:46

오호 논문찾아봐야겠군요
임시닉네임 "시간이 지나면 이통사 수입이 남으면 틀림없이 요금을 내릴 겁니다." - 오남석 2024.09.21 13:34

찾아보니 공개 논문입니다.
스와마망 어-흥! 장난이야! 2024.09.21 13:40

오픈소스로 깃헙에올라온것도있고 재밌어보이네요
야생감귤 2024.09.21 13:13

이런건 기사가 아니라 논문을 가져오셔야
임시닉네임 "시간이 지나면 이통사 수입이 남으면 틀림없이 요금을 내릴 겁니다." - 오남석 2024.09.21 13:25

지적 감사

"Accelerating Model Training in Multi-cluster Environments with Consumer-grade GPUs" https://dl.acm.org/doi/10.1145/3651890.3672228
Github repository https://github.com/kaist-ina/stellatrain
KAIST 측 보도자료 https://news.kaist.ac.kr/news/html/news/?mode=V&mng_no=39670
360Ghz case kill mark: TT CTE700, ssupd meshroom S/D, BQ SB 802 white, CM H500... 2024.09.23 05:16

걍 ddp랑 별 차이 없어보이는데...
ForGoTTen 결제중.... 2024.09.23 13:00

consumer level GPU는 GPU direct (GPU끼리 직접 통신) 가 안되서 collective communication을 위해서 CPU 호스트 메모리를 거처야 하는데, 호스트 거치는 김에 gradient 압축(1)하고 통신 시간을 고려해서 파이프라인을 변경하여 버블을 줄이는대신 1배치 전 가중치를 사용하겠다(2) 가 주요 노벨티 입니다.

다만 뭔가 뭔가인 부분은 어차피 요즘 모델어 커져서 호스트 메모리에 어쩔 수 없이 오프로딩 하는게 일반적인 테크닉이 되었고 (구지 컨슈머 레벨 GPU가 아니라도 호스트 메모리를 사용하는게 일반적), gradient 압축과 변경된 파이프라인이 분명 모델의 학습 결과에 영향을 줄텐데, 그 부분을 LM이 아니라 비전 모델로 보여준것이 좀 아쉽습니다. (LM에 비해서 비전 모델은 막? 해도 결과가 좀 나오는 편이니까요)

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

No Image

GaN 트랜지스터, 125도의 원자로에서도 5년까지 버팀

미국 오크리지 국립연구소의 연구팀은 원자로 노심 근처의 열과 방사선을 견뎌내는 트랜지스터를 만들었다고 합니다. 익히 알고 계실 GaN으로 만들었으며, 원자로의 안전 한계인 섭씨 125도까지 버티고, 극한조건에서 5년 동안 지속됩니다...

Date2024.07.04 소식 By낄낄 Reply3 Views984

Read More
No Image

삼성 반도체도 '리밸런싱'···차량용 칩 개발 속도조절

3일 반도체 업계에 따르면 삼성전자에서 칩 설계 사업을 담당하는 시스템LSI 사업부는 최근 AI 칩 개발을 위한 사업 및 조직 개편을 진행했다. 이에 따라 차량용 프로세서인 ‘엑시노스 오토’ 차기작(코드명 KITT3) 개발이 재...

Date2024.07.03 소식 By낄낄 Reply1 Views714

Read More
냥이가 가구 긁는걸 그만두게 하는 방법

냥이들은 보통 헤어볼을 뱉거나, 발톱을 날카롭게 하기 위해 가구등을 긁습니다. 이걸 어케 할 수 있을가요? 방법이 나온거 같습니다. 긁는 행동을 줄이거나 다른 방향으로 돌릴 수 있는 과학적 근거가 있는 대안이 있어요 연구팀은 ...

Date2024.07.03 소식 By책읽는달팽 Reply5 Views1005

Read More
No Image

구글의 온실가스 배출량, 지난 5년간 50% 증가

구글이 최근 공개한 2024년 구글 환경 보고서에 따르면, 구글은 2023년 14.3m 톤의 온실가스를 배출했으며, 이는 2019년 대비 약 50% 증가한 수치입니다. 2022년에 비해서는 13% 증가했습니다. 주된 원인은 AI용 데이터센터가 엄청난 에...

Date2024.07.03 소식 By디이나 Reply2 Views473

Read More
스마트 침대를 해킹해서 백도어와 보안 취약점을 찾음

슬립 넘버라는 스마트 침대를 해킹해 루트 권한을 획득하고, 백도어와 보안 취약점을 찾은 것을 소개하는 글입니다. 컨트롤러 호브의 J16 헤더에 연결해 UART 액세스를 얻어 SSH로 연결할 수 있었다고 합니다. 이게 제품의 유지 관리를 위...

Date2024.07.03 소식 By낄낄 Reply1 Views841

Read More
No Image

중국, 희토류 금속 자원은 국가 소유

중국은 반도체 생산에 필요한 희토류 금속 재료는 국가의 소유라는 규정을 10월 1일부터 적용할 예정입니다. 개인이나 단체가 희토류 자원에 마음대로 접근하거나 손상할 수 없게 됩니다. 자원의 채굴, 제련, 가공, 유통, 수출까지 모든 ...

Date2024.07.02 소식 By낄낄 Reply6 Views1007

Read More
No Image

적외선 카메라 모듈이 탑재된 에어팟이 2026년에 양산

적외선 카메라 모듈이 탑재된 에어팟이 2026년에 양산될 거라고 합니다. 에어팟에 카메라를 넣어서 몰카를 찍겠다는 건 아니고, 공간 컴퓨팅 생태계 강화가 목적입니다. 비전 프로로 영상을 보면서 에어팟을 착용하면, 사용자가 어디를 보...

Date2024.07.02 소식 By낄낄 Reply3 Views479

Read More
No Image

소니, ODD 미디어 공장에서 250명 해고

소니가 일본 미야기현 다가조에 있는 미디어 공장에서 250명을 해고합니다. 이곳에선 670명이 근무 중이며, CD-R, DVD-R, BD-R 등의 광 디스크들을 생산하고 있습니다. 소니가 아직도 디스크를 생산 중이었다니 오히려 놀랍네요. PS5에 디...

Date2024.07.02 소식 By낄낄 Reply2 Views484

Read More
전기를 쓰지 않고, 고밀도 메모리를 갖춘 기계식 컴퓨팅

키리가미는 일본의 종이 접기 중 하나인데, 입체적으로 튀어나오는 구조를 지닌 종이 접기입니다. 여기에선 키리가미와 흡사한 구조의 기계식 컴퓨팅 기술을 소개합니다. 키리가미 컴퓨터에는 가로세로 1cm 짜리 큐브 64개 서로 연결되어 ...

Date2024.07.02 소식 By낄낄 Reply2 Views614

Read More
지리의 LFP 배터리, 수명 50년, 20분 충전

중국 지리가 새로운 LFP 배터리 셀을 공개했습니다. 에너지 밀도 192Wh/kg, 50년의 수명, 20분 안에 80%까지 충전, 추운 날시에 충전해도 용량 손실이 없습니다. 충전 사이클은 3500번, 100만 km 동안 사용이 가능합니다.

Date2024.06.29 소식 By낄낄 Reply5 Views1605

Read More
갤럭시 버즈 3, 갤럭시 버즈 3 프로 공식 이미지 유출

갤럭시 버즈 3와 갤럭시 버즈 3 프로의 공식 이미지가 유출됐습니다. 에어팟처럼 콩나물스럽게 디자인이 바뀝니다.

Date2024.06.29 소식 By낄낄 Reply5 Views1018

Read More
현대, 캐스퍼 일렉트릭 공개

현대의 유일한 경차인 캐스퍼의 전기차 버전, 캐스퍼 일렉트릭이 부산모빌리티쇼에서 공개되었습니다. 캐스퍼 일렉트릭 기존 내연기관 캐스퍼와 달리 전장이 230mm, 전폭이 15mm, 휠베이스가 180mm 증가해 내부공간이 늘...

Date2024.06.28 소식 ByMUGEN Reply6 Views1130

Read More
No Image

스페이스X, ISS 철거 작업을 진행

2030년에 수명을 다한 국제 우주정거장 ISS를 철거하는 작업을 스페이스X가 진행합니다. 계약 규모는 8억 4300만 달러입니다. 지구 궤도에는 우주 쓰레기가 이미 많이 쌓여 있습니다. 궤도에서 파괴될 경우 1mm보다 큰 파편 2억 2천만 개...

Date2024.06.28 소식 By낄낄 Reply3 Views1038

Read More
Verity Systems MediaGone 500 전자제품 파쇄장치

Verity Systems MediaGone 500 전자제품 파쇄장치입니다. 가격은 12614달러. SSD와 플래시 메모리 드라이브를 파괴한다고는 써졌지만 스마트폰이나 광디스크까지 씹어 먹는다고 하니, 그냥 플라스틱 위주의 소형 전자제품은 다 처리가 가...

Date2024.06.28 소식 By낄낄 Reply0 Views431

Read More
No Image

폭스바겐, 리비안에 최대 50억 달러 투자

폭스바겐이 리비안에게 2026년 말까지 최대 50억 달러를 투자한다고 발표했습니다. 리비안은 15년 전에 설립해 작년에 57,232대의 전기차를 팔았습니다. 그닥 많이 만들었다고는 할 수 없지요. 2022년에 24337대였으니 그거보다는 많이 늘...

Date2024.06.27 소식 By낄낄 Reply2 Views496

Read More
다이슨 WashG1 물청소기 출시

다이슨이 WashG1 물청소기를 출시했습니다. 유럽에선 이제야 나왔는데 한국은 몇 주 전부터 이미 팔고 있었군요. 한국 출시가 빠른 걸 보면 한국에서 다이슨이 잘 팔리나 봅니다. 2개의 전동식 극세사 롤러가 있어 물을 지속적으로 흘러 ...

Date2024.06.26 소식 By낄낄 Reply8 Views1107

Read More
바이트댄스, AI칩 개발을 위해 브로드컴과 협업

로이터 보도에 따르면 바이트댄스가 브로드컴과 협업해 5nm AI칩을 만들 계획이라고 합니다. 이 5nm ASIC은 미국의 각종 규제 기준에 알맞게 설계될 것이며, 생산은 Tsmc가 할 것으로 보입니다. 허나 생산은 올해 중으로 이루어지...

Date2024.06.24 소식 By디이나 Reply1 Views656

Read More
사이버트럭의 완전 충전 속도 테스트

사이버트럭의 완전 충전 속도 테스트입니다. 250kW 출력까지 가능한 슈퍼차저에서 0%에서 100%까지 충전하는데 걸린 시간과 출력을 테스트했는데요. 80%까지 채우는데 40분이 걸립니다. 완전 충전은 1시간 30분입니다. 처음에는 250KW를 ...

Date2024.06.23 소식 By낄낄 Reply5 Views1424

Read More
No Image

MS, 수중 데이터센터 운영 중단

마이크로소프트가 프로젝트 Natick, 수중 데이터센터의 운영을 중단합니다. MS의 클라우드 운영/혁신 책임자인 Noelle Waish는 어떤 곳에도 해저 데이터 센터를 건설하지 않을 것이라고 말했습니다. 해수면 아래에서 작업과 진동, 서버에 ...

Date2024.06.23 소식 By낄낄 Reply9 Views2057

Read More
스마트폰에도 장착할 수 있는 작은 엑스레이 칩

스마트폰에도 장착할 수 있는 CMOS 센서 기반 소형 엑스레이 칩을 텍사스 대학교 달라스와 서울대학교가 개발했습니다. 지금은 1인치 거리의 물체를 포착 가능하며 나중에는 5인치까지 늘리는 것을 목표로 하고 있습니다. 이 칩은 사람의 ...

Date2024.06.23 소식 By낄낄 Reply3 Views1530

Read More