FPGA를 쓰면 다크넷 YOLo를 빠르게 실행가능할까요??

babozone https://gigglehd.com/gg/13989004

조회 수 1584 댓글 20

YoLo라고.. you look once 인지 하는 프로그램이 있습니다

사물인식 하는 딥러닝 프로그램인데 이게 현재는 gtx 1080 정도에서 제가 원하는 속도로 돌아갑니다

1080대신 fpga를 써서 소형화된 sbc같은걸로 실행 가능할지 싶어서 기글 고수 분들에게 질문 드립니다

당연히 해봐야 아는거겠지만, 특정연산만 반복한다면 fpga로 저전력으로 수행할 수 있지 않을까해서요

(비트코인의 연산이 그래픽 카드에서 fpga로, 결국 asic로 간것 처럼..)

목표는 요겁니다

https://youtu.be/9fa9lVwHHqg

이정도는 아니겠지만 25cm 짜리 드론에다가 설치 할만큼 저전력/소형화가 가능할지 궁금하네요

푸로그램의 f도 모르는 무지렁이라 기글 형님들의 고견이 듣고 싶어요

삭제 요청

Prev PC용 DDR4 메모리 최저가, 2만원대 깨졌다 PC용 DDR4 메모리 최저가, 2만원대 깨졌다 2023.03.29by 카토메구미 컬러풀 지포스 RTX 4090 iGame LAB 한정판 Next 컬러풀 지포스 RTX 4090 iGame LAB 한정판 2023.03.31by 낄낄

목록 스크랩

위로 아래로 댓글로 가기

Comments '20'

360Ghz case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2023.03.29 07:13

그...렇기는한데, yolo 모델 등이 필요한 환경이 어느정도 연산력인지 구글 코랄 같은걸로 테스트하고 올려보시는걸 추천합니다.
?
babozone 2023.03.29 10:10

넵 코랄로 한번 되는지 알아보겠습니다!!
int20h 메인: Intel i7-5960X@4.4GHz, DDR4 2666MHz 128GB RAM, GALAX GTX1080TI ... 2023.03.29 09:44

18-19년도인가 fpga에 yolov2 올려서 납품되는거 본적 있습니다.

허지만 fpga가 너무 컷다는.. 그냥 최근 tiny모델 half precision 변환해서 쓰시는게 나을것 같군요
?
babozone 2023.03.29 10:08

그냥 싸게싸게 젯슨 나노로 가야겠네용...의견 감사합니다!!
폴짝쥐 2023.03.29 09:48

네 가능하지만 그걸 위해 FPGA를 쓰시는 것보단
NPU 달린 락칩 같은 소형 보드를 쓰시거나
Google Coral TPU를 쓰시는 게 더 현실적인 솔루션일 것 같습니다
?
babozone 2023.03.29 10:09

이런게 있었네요!!!
역시 기글의 집단지성!!!
ForGoTTen 결제중.... 2023.03.29 10:27

제가 예전에 darknet quzntization해서 NPU로 포팅하는 팀에서 모델 분석했었습니다.

일단 가장 중요한 부분은 어떤 프레임워크를 골라야 하냐는 것 입니다. Yolo의 저자들은 자체적으로 darknet이라는 프레임워크를 C로 만들어서 구현했지만, cudnn과 같은 API로 작성되어 있기 때문에 수정이 힘들며 PyTorch, TensorFlow같은 범용 프레임워크로 만들어진 Yolo모델의 포팅 버전을 사용하는것도 한 방법입니다.

두번째로 CNN에서는 모델과 더불어 입력되는 이미지의 크기가 정말 중요합니다. CNN모델의 특성상 가중치는 작아도 큰 입력을 처리할 수 있기 때문에, 256x256 정도 되는 작은 크기 이미지를 처리할 때는 문제가 없어도, 1024x1024같이 이미지가 커지면 메모리와 추론성능 둘 다 문제가 될 수 있습니다.

마지막으로 성능관련은 정말 다양한 파라미터를 고려해야 하는데요. 1080정도 수준을 SBC에서 내기는 쉽지 않습니다. 이미 GPU자체의 H/W peak FLOPS 성능이 아키텍처 차이를 고려하더라도 20배 정도 나는 상황이라서 단순히 jetson nano로 올린다고 하면 충분한 성능을 내지 못 할 것 입니다. 단순 깡성능(?)으로 1080급을 내려면 젯슨 Orin정도는 되어야 하니까요....
ForGoTTen 결제중.... 2023.03.29 10:34

가중치를 표현하고 있는 값을 낮춰서 low-precision으로 바꾸어 사용하는 방법을 quantization이라고 합니다.

대부분 딥러닝 모델은 학습을 FP32로 하고, 실제 추론 과정에서 사용시에는 FP32보다 좀 덜 정밀해도 충분한 결과가 나오기에 FP16이나 INT8같은 데이터타입을 사용하는 것이 하나의 추세이지요.

대부분의 NPU의 경우 FP32가 아닌 FP16, INT8~4 정도의 low-precision 데이터타입만을 지원하기에, coral같은 외장 NPU를 사용하던 tensor core같은 내부 NPU를 사용하던 GPU외 가속기를 사용한다면 quantization은 필수적입니다. 이 부분을 8 bit로 NVIDIA의 논문을 사용해 구현한 yolo2 light가 있으니 참고해 보셔도 될 것 같습니다.

물론 quantization시 이런저런 요소들로 인하여 추론의 정확도는 좀 떨어집니다.
ForGoTTen 결제중.... 2023.03.29 10:38

결론적으로 darknet 그 자체를 수정없이 원하는 수준으로 동작하려면 젯슨 Orin정도는 있어야 함

두번째로 FPGA던 NPU던 Tensor Core던 사용하기 위해서는 quantization이 필수, 이 때는 darknet외의 다른 프레임워크 구현체로 방향을 바꾸는 것이 좋음
?
babozone 2023.03.29 12:07

압도적...감사....!
블로그 검색해보면서 열심히 배워보겠습니다 ㅎㅎ
올해 목표가 생겼네요
?
진외자 2023.03.29 11:12

오, 역시 현업분의 노하우!!! 멋지네요!
DecAF 2023.03.29 12:08

킹론상 FPGA로 할 수는 있지만 하드웨어 비용 + 개발기간 등등 따져보면 젯슨 나노나 오드로이드 M1이 정신건강상 편합니다.
저는 비슷한 프로젝트 할때 SBC에서 돌리기 포기하고 그냥 영상 촬영만 해서 AWS에 영상 전송하고 구축한 AWS서버에서 YOLO처리 후 결과 데이터만 보드에서 다시 받도록 만들었습니다.
?
babozone 2023.03.29 14:34

의견 감사합니다!
통신을 못하는 상황에서도 작동 가능하도록 하는게 목표긴 한데..검토해봐야겠네요 ㅎㅎ
?
김경철 2023.03.29 13:10

드론에 달아서 딥러닝 모델 돌리시려면 아마도 이런거 쓰시면 좋지 않을까 합니다.

https://www.modalai.com/en-kr/pages/voxl-2

기본적으로 px4 autopilot 돌아가고, 추가적으로 tensorflow-lite로 이것저것 넣을 수 있다고 합니다.
?
babozone 2023.03.29 14:31

넘모...비싸네요 ㅠ
Loitering munition으로 활용가능할지가 궁금해서 만들어보는거라.. 아슬아슬한 수준의 스펙의 제품으로 드론을 구성해보려고 합니다
의견 감사해요!!
para77 2023.03.29 16:01

딥러닝되는 자폭드론 컨트롤러가 2천달러면 싼거아닌가요?
?
babozone 2023.03.29 16:56

라즈베리파이 (15만)
Matek controller (15만)
Coral edge tpu (15만)
요거 3개 합치면 반의 반값!!
반대로 제가 만들어서 수출하고 싶네요 ㅎㅎㅎ
?
webos115 2023.03.29 17:05

하나로 해결 가능한 Tinker Edge R도 있습니다 ㅎㅎ
?
webos115 2023.03.29 13:11

NPU 자체 내에서 다크넷이나 욜로를 직접 지원하는 RK3399 Pro 락칩 계열 SBC도 괜찮은 편입니다.
Tinker Edge R 같은 제품들이 있습니다.
?
babozone 2023.04.06 08:20

현재 라즈베리파이 +코랄로 돌리는 중인데 역시 너무 거추장 스럽네요.. 2호기 민들때 참고하도록 하겠습니다!!!

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

MSI G253PF. 380Hz 1ms의 고속 IPS 게이밍 모니터

MSI G253PF 게이밍 모니터입니다. 24.5인치 크기에 풀 HD 해상도, 380Hz 주사율, 1ms 응답속도, 고속 IPS 패널, 지싱크 호환, 나이트 비전/플리커 프리/블루라이트 감소. 밝기는 표준 320니트/HDR 400니트, 명암비 1000:1, 어도비RGB 85%/...

Date2023.03.31 소식 By낄낄 Reply0 Views371

Read More
이번 발표에서 나온 에메랄드 래피즈의 샘플인데...

일단 HBM이 없는 일반 라인업이고, 4 die였던 사파이어래피즈랑 달리 2 die 구조입니다. 4 MCM으로 만드니까 영 별로였어서 2 MCM으로 돌아가는 건지, 아니면 이 2 die짜리는 MCC이고 (사파이어래피즈는 MCC가 모놀리식임) XCC에 ...

Date2023.03.31 일반 By류오동 Reply7 Views999

Read More
No Image

지포스 RTX 4070, 599달러?

지포스 RTX 4070이 599달러에 출시될 거라고 합니다. 4070 Ti보다 200달러 가량 저렴합니다. 또 3070 Ti의 출시 가격과 같기도 합니다.

Date2023.03.31 소식 By낄낄 Reply6 Views615

Read More
(재방송)인텔, 2023 투자자 웨비나 컨퍼런스 댓글 생중계[데이터 센터와 AI(인공지능)]

※ 2023년 3월 30일, 0시 쯤에 진행했었으나, 미처 시간을 확인하지 못해서 부득이하게 재방송으로 댓글 생중계를 진행함을 알려드립니다.

Date2023.03.30 소식 By블레이더영혼 Reply41 Views437

Read More
[잡담] 한성컴퓨터 MKF30S PLUS RAINBOW 출시

한성컴퓨터는 기계식 키보드를 만?들어 판매하죠. 다양한 제품을 만?드는데, 그 중에는 GTune MKF30S Rainbow라는 제품이 있습니다. https://www.monsterlabs.co.kr/src/category/read.html?pn=16423 제원은 이렇습니다. 교체 가능한 오테...

Date2023.03.30 일반 By임시닉네임 Reply0 Views746

Read More
인텔 데이터센터 / AI 인베스터 웨비나. 차세대 제온의 계획

인텔이 데이터센터와 AI 투자자 웨비나를 열어 앞으로 내놓을 제온 로드맵을 공개했습니다. 기존에 발표한 것에서 크게 변하진 않고, 로드맵에 나와 있던 것에 더 많은 정보를 추가한 것입니다. 우선 AMD 베르가모에 대항할 고밀도 코어 ...

Date2023.03.30 소식 By낄낄 Reply1 Views1292

Read More
No Image

바이든 미국 대통령, PCB 생산을 위해 국방물자생산법을 발동

미국의 조 바이든 대통령은 미국과 캐나다에서 PCB 기판 생산에 사용할 5천만 달러의 예산을 편성하기 위해 국방 물자 생산법을 발동했습니다. 기판 확보가 국방 문제에 직결되는 중요한 것이며, 현재 미국 산업은 제 때 필요한 자원을 공...

Date2023.03.30 소식 By낄낄 Reply3 Views1151

Read More
No Image

AMD/인텔 메인보드 가격이 최근 2년 반 사이에 35~40% 증가

독일 마인드팩토리에서 판매된 AMD와 인텔 메인보드의 통계입니다. 2020년 11월에는 인텔 메인보드의 평균 가격이 140.78유로, AMD는 120.50유로였습니다. 하지만 2023년 3월에는 인텔이 197유로, AMD가 163달러로 올랐습니다. AMD가 35%,...

Date2023.03.30 소식 By낄낄 Reply9 Views1228

Read More
사파이어 래피드의 AMX를 사용해 스테이블 디퓨전 성능을 10배 향상

인텔의 4세대 제온 스케일러블 프로세서인 사파이어 래피드에는 AMX(Advanced Matrix Extension) 라는 딥러닝 가속 하드웨어 기능 세트가 탑재됩니다. 이걸 잘 사용하면 스테이블 디퓨전 같은 AI 작업을 빠르게 처리할 수 있다네요. 아이...

Date2023.03.30 소식 By낄낄 Reply0 Views900

Read More
마이크론 2023회계연도 2분기 실적 발표

마이크론이 2023회계연도 2분기 실적을 발표했습니다. 순 손실 23.1억 달러로 최근 20년 동안 최악의 실적을 기록했습니다. 매출은 36.9억 달러로 37.1억 달러의 예상치보다 낮았으며, 지난 분기의 40.9억 달러, 1년 전의 77.9억 달러보다...

Date2023.03.30 소식 By낄낄 Reply2 Views478

Read More
필립스, 44.5인치 듀얼 QHD 커브드 디스플레이

필립스 45B1U6900C/01 모니터입니다. 화면 크기 44.5인치 듀얼 QHD(5120x1440 해상도), KVM, 100W 전원 공급이 가능한 USB-PD, 기가비트 랜/USB 허브 등의 도킹 스테이션 기능, 5W x2 스피커 탑재. VA 패널, 곡률 1500R, 32:9 비율, 리프...

Date2023.03.30 소식 By낄낄 Reply2 Views560

Read More
지포스 RTX 4060 Ti의 박스 탬플릿 유출

지포스 RTX 4060 Ti의 박스 탬플릿이 유출됐습니다. RTX 40 시리즈의 공통 기능만 있지 중요 스펙에 대해선 나와 있지 않습니다.

Date2023.03.30 소식 By낄낄 Reply1 Views527

Read More
No Image

지포스 RTX 4050은 6월에 출시?

지포스 RTX 40 시리즈 데스크탑 그래픽카드 보급형 모델의 출시 일정 소문입니다. 지포스 RTX 4060 Ti는 5월 말 지포스 RTX 4050은 6월 지포스 RTX 4060은 아직 정해지지 않았다고 합니다. 그리고 4050의 비디오 메모리는 6GB라네요. RTX ...

Date2023.03.30 소식 By낄낄 Reply4 Views583

Read More
No Image

PC용 DDR4 메모리 최저가, 2만원대 깨졌다

8GB 제품 최저가 29일 1만9천원대로 떨어져..."하락세 지속 전망" 국내 PC 시장에서 데스크톱 PC용 DDR4 메모리 모듈 가격이 연일 최저가를 갱신하고 있다. 전통적인 PC 비수기에 올 초부터 두드러진 PC 수요 감소 등으로 재고 압박이 이...

Date2023.03.29 소식 By카토메구미 Reply12 Views1565

Read More
No Image

FPGA를 쓰면 다크넷 YOLo를 빠르게 실행가능할까요??

YoLo라고.. you look once 인지 하는 프로그램이 있습니다 사물인식 하는 딥러닝 프로그램인데 이게 현재는 gtx 1080 정도에서 제가 원하는 속도로 돌아갑니다 1080대신 fpga를 써서 소형화된 sbc같은걸로 실행 가능할지 싶어서 기글 ...

Date2023.03.29 질문 Bybabozone Reply20 Views1584

Read More