컴퓨터용 카메라장치와 이미지/비디오 프로세싱 (gstreamer)

조회 수 1046 댓글 12

안녕하세요.

Google의 Coral Dev. board라는 딥러닝 애플리케이션 개발용 보드를 가지고 작업중입니다.

(https://coral.ai/products/dev-board)

여기에 카메라 시리얼 인터페이스 (CSI)로 연결된 카메라가 달려있는데요. 이 카메라에서 사진/비디오를 찍고, 사물인식등을 수행하는 프로그램을 만들고있습니다. (example code에 이미 있죠.)

동시에 서버에서 더 헤비한 연산을 처리할수있도록, 같은 해상도로 원본 영상을 저장하여 전송하는 코드를 짜고있는데요.

720p에서 무려 5FPS정도밖에 처리하지못하고있네요.

예제 코드(https://github.com/google-coral/project-birdfeeder/blob/master/gstreamer.py)로부터 변형하고있는데 line41에서 하나의 프레임당 수행하는 함수가 정의되어있습니다.

궁금한점은,

1. 하드웨어 스펙이 딸려서 처리를 못하는것인지? 그에 대한 판단의 근거가 궁금합니다.

GC7000 lite라는 GPU가 달려있는걸로 파악되는데 스펙표를 봐도 어떻게 판단해야할지 모르겠네요.

http://www.vivantecorp.com/index.php/en/media-article/news/277-20140403-vivante-gc7000-delivers-desktop-graphics-to-mobile.html

2. gstreamer에서 1 frame씩 처리하는 코드가 속도를 저하시키는 원인인지

혹시 도움이 될만한 정보를 아시면 알려주세요

삭제 요청

목록 스크랩

위로 아래로 댓글로 가기

Comments '12'

?
아이들링 2020.03.10 03:39

해당작업이 GPU를 쓰느냐가 관건이겠지만

GPU 성능은 8500GT 급으로 보입니다.
FP16 GFLOPS 성능이 월등한점 제외하면 다른부분의 전체적인 성능도 비슷해보입니다
https://www.techpowerup.com/gpu-specs/geforce-8500-gt.c765
?
dmy01 2020.03.10 08:38

어디서 병목 현상이 발생하는지 프로그램의 모듈별(파트별)로 그걸 파악하신 뒤 hw 한계이냐를 물어보시는 게 맞을 것 같습니다
?
dom607 2020.03.10 11:22

일단 추론, 저장, 전송 등 각 태스크별 수행 시간을 프로파일링 해보시는걸 권장드립니다.
?
PHYloteer 🤔 2020.03.10 11:35

지금 문제가 인식부분인가요, 아니면 인식 부분은 아니고 원본 영상을 인코딩 후 전송하는 게 느리다는 것인가요? 일단 어느쪽인지 문제를 분리해야 할 것 같은데요. 프로파일링을 해 보신다거나..

인코딩 속도가 문제라면 인코더가 하드웨어 가속을 잘 하고 있는지를 보시는 것 부터 시작하셔야 할 것 같습니다. 해당 칩이 하드웨어 인코더를 가지고 있는지 알아보시고, 있다면 어떻게 쓰는지를 알아보셔야.. 하드웨어 가속빨만 받는다면야 ARM9같은 구닥다리 칩으로도 FHD트랜스코딩이 됩니다만 하드웨어 가속을 못 받으면 거의 데스크탑급 연산력의 칩을 가져와야 씁죠.

잘 안되면 앗싸리 젯슨 같은 거 쓰시는 게 나을 수도 있습니다. 뭐 얘도 전용 라이브러리 안 쓰면 하드웨어 인코딩은 못합니다만..
ForGoTTen 결제중.... 2020.03.10 12:04

다양한 가능성이 있어서리...
말 그대로 연산성능이 부족해서라는 말 아래에.... "백그라운드 프로세스가 많아서 리소스가 적다(이미 추론을 한번 돌리고 있으니)", "H/W가속을 제대로 지원하는 못하는 상황이다", "원래 그정도밖에 안 나오는 성능이다"등등등 가능성이 많으니요.
사실 Coral TPU보드가 tensor lite inference 가속을 제외한 성능은 파이3/3+ 급이라서 단순 미디어 처리는 한계가 있습니다.
htop같은 툴로 리소스 사용량이라도 체크해 보시고, edge디바이스에서 해야한다면 좀 더 성능좋은 보드에서 Coral USB Accelerator로 업글도 고려해보심이 좋을듯 합니다.
ForGoTTen 결제중.... 2020.03.10 12:08

AP들의 동영상 처리는 encode성능으로 보시면 됩니다. 물론 대부분이 GPU나 내부 DSP를 사용한 H/W가속 성능이라서 환경을 맞춰주지 못하고 CPU로 S/W처리하면 확 떨어지는 성능이기는 하지만....
예로 젯슨(나노/Tegra X1)같은 경우, 4K @ 30 | 4x 1080p @ 30 | 9x 720p @ 30 (H.264/H.265), 라고 스펙에 명시하고 있죠.

https://developer.nvidia.com/embedded/jetson-nano-developer-kit
?
donky 2020.03.10 13:21

댓글 모두 감사드립니다. 대략적인 감은 알겠습니다.
새벽에 멍한상태로 급한질문을 올려서 모호한점이 있네요.
인코딩부분이 문제인것같습니다.
인코딩하지않고 카메라에서 데이터스트림을 받아서 계속 로그를 쓰는식으로 영상을 기록하고, 이미지 처리는 가능한 성능 내에서 키프레임을 뽑아서 사용해야될것같습니다.
?
포인트 팡팡! 2020.03.10 13:21

donky님 축하합니다.
팡팡!에 당첨되어 10포인트를 보너스로 받으셨습니다.

수정 삭제
폴짝쥐 2020.03.10 16:08

파이썬에서 하드웨어 가속 쓰거나 병렬로 돌리는 걸 잘 모르긴 하는데, 혹시 cpu만으로 도는 건 아닌가요? 실행시 리소스 점유가 어떻게 되나요?
?
donky 2020.03.11 10:49

다른일로 아직 정리가안됐는데 간단한 프로파일 해보려구요. htop에 뜨는 리소스점유만으로는 하드웨어가속이 들어가는지 여부가 확실하지않을것같은데 혹시알고계신방법이 있으신지요?
?
RuBisCO 2020.03.10 22:38

인코더를 x264 같은 S/W 인코더 대신에 하드웨어 제조사에서 제공하는 H/W 가속 지원 인코더로 바꿔주시기 바랍니다. 코랄의 경우 iMX계열이니 imxvpu를 사용해야겠죠. H/W 인코더가 아닌 코랄의 A53 CPU로 S/W 인코딩을 시도하면 정말 절망적인 속도가 나옵니다.
?
donky 2020.03.11 10:47

좋은정보 감사드립니다!

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

No Image

미국: ASML이 중국에 설치한 장비의 서비스를 차단하길 원함

중국에 설치된 ASML의 반도체 생산 장비의 서비스를 제공하지 못하도록, 미국 정부가 네덜란드 정부를 압박할 거라고 합니다. EUV 장비는 이미 수출 자체가 불가능하지만 중국에는 이미 납품되어 가둥 중인 여러 DUV 장비가 있습니다. 이...

Date2024.04.08 소식 By낄낄 Reply7 Views1555

Read More
128코어 알테라와 RTX 2장 조합의 일체형 워크스테이션

Alafia AI의 Alafia Aiva 슈퍼워크스테이션입니다. 암페어의 128코어 알테라 프로세서와 2개의 NVIDIA RTX 4000/RTX A3000이 탑재됩니다. 또 DDR4 2TB 메모리와 최대 8TB SSD가 있습니다. 여기에 4K 회전 디스플레이까지 달려 있어 모니터...

Date2024.04.08 소식 By낄낄 Reply1 Views1053

Read More
삼성전자, 일체형 PC ‘삼성 올인원 Pro’ 출시

‘삼성 올인원 Pro’는 울트라 슬림 디자인에 6.5mm 두께의 얇은 스탠드를 적용해, 공간을 더욱 넓고 자유롭게 활용할 수 있게 해준다. 메탈 소재를 활용한 고급스러운 그레이 색상은 본체, 무선 키보드, 마우스에 모두 적용돼 ...

Date2024.04.08 소식 By낄낄 Reply27 Views2504

Read More
RGB LED가 그래픽카드 백플레이트를 변색시킴

메모리에 달린 RGB LED가 그래픽카드의 백플레이트를 변색시켰다고 합니다. ASUS, 기가바이트, MSI 그래픽카드가 다 있네요. https://www.reddit.com/r/pcmasterrace/comments/1bx2y9y/ram_light_burned_onto_gpu/ https://www.reddit.com...

Date2024.04.08 소식 By낄낄 Reply16 Views1872

Read More
No Image

키오시아, 2031년까지 1000단 3D 낸드 양산을 목표함

키오시아의 CTO는 2031년까지 1000단 레이어를 갖춘 3D 낸드 플래시 메모리를 양산할 계획이라고 밝혔습니다. 현재 키오시아의 3D 낸드 중에 가장 기술 수준이 높은 건 218단 레이어와 3.2GT/s의 인터페이스를 갖춘 8세대 BiCS 3D 낸드 플...

Date2024.04.08 소식 By낄낄 Reply2 Views523

Read More
MSI 트라이던트 AS 14NUE7-680 게이밍 데스크탑 출시

MSI 트라이던트 AS 14NUE7-680 게이밍 데스크탑입니다. 코어 i7-14700F, 지포스 RTX 4070 슈퍼, DDR5 16GB SO-DIMM, 1TB NVMe SSD, 80+ 골드 500W 파워, 2.5기가비트 랜, WiFi6, 크기 137.06x396x57x410.39mm, 무게 5.53kg. 이건 MAG 코덱...

Date2024.04.07 소식 By낄낄 Reply2 Views316

Read More
No Image

사무용으로 사용할 무선 마우스 추천 부탁드립니다...

어머니가 사용하시는 무선마우스가 맛이 갔습니다 클릭이 먹힐때도 있고 안먹힐때도 있어요 새거를 구매하려고 하는데 괜찮은게 어떤게 있을까요 마우스는 로지텍 G 시리즈밖에 모르는데 이건 게이밍 시리즈고... 일반적으로 사용할 마우...

Date2024.04.07 질문 By조마루감자탕 Reply9 Views425

Read More
No Image

AMD 젠5, 512비트 FPU 탑재

AMD 젠5에는 512비트 FPU가 탑재됩니다. 현재 젠4는 AVX 256비트 FPU 2개를 조합해서 AVX-512를 실행합니다. 네이티브 512비트 FPU를 장착한 덕분에 AVX-512 성능이 최대 40% 가량 향상된다고 합니다. 그리고 여기에 맞춰서 L1 데이터 캐...

Date2024.04.07 소식 By낄낄 Reply6 Views1098

Read More
RISC-V CPU, GPU, NPU를 모두 갖춘 X-Silicon

X-Silicon이라는 스타트업에서 RISC-V CPU, GPU, NPU를 모두 갖춘 프로세서를 공개했습니다. 이 프로세서에는 16개의 32비트 FPU, 정수/부동소수점 명령어를 처리하는 스케일러 ALU로 구성된 RISC-V 벡터 코어가 있습니다. 통합 명령어 ...

Date2024.04.07 소식 By낄낄 Reply0 Views787

Read More
LP 형도 1슬롯은 잘 없군요?

기글에 기사도 있는 갤럭시 4060 LP 형 1슬롯도 아마 출시 취소인지... 해외에서도 판매하는 곳은 없네요. 찾아보니 RX6400 이 그나마 양사 통틀어 메이저 브랜드의 공식적인 가장 최신 1슬롯 LP 형이군요. 공정개선으로 20XX, 30XX ...

Date2024.04.07 일반 By투명드래곤 Reply11 Views756

Read More
이 정도의 터치 FPC 손상도 고장의 원인이 되나요?

안녕하세요? 아이패드 프로 10.5인치 모델이 있는데 터치 인식이 전혀 되질 않습니다. 디스플레이 어셈블리를 분해해서 다른 아이패드에 물려보니 잘 작동하는 것으로 미루어 터치 패널 문제는 아니고 메인보드 문제라고 생각하고 있었습...

Date2024.04.07 질문 By뉴시리즈9 Reply4 Views827

Read More
No Image

이런 경우엔 파워 문제려나요?

참고/링크의 저 컴퓨터가 사실은 증상이 생긴 지 꽤 오래됐는데, 컴퓨터를 끄고 몇 시간 뒤에 켜면 한 10분동안은 파워 전원 내렸다 올렸다 강제종료했다 그래야 겨우 겨우 켜집니다. HWMonitor로 전압을 보면 전압은 잘 맞춰서 나오고 ...

Date2024.04.07 질문 By마초코 Reply24 Views655

Read More
인텔 XESS 1.3 발표한 꼬라지를 보니까 말이죠

인텔은 얼마 전 XESS 1.3을 발표하고, 기존 1.2 대비 두자릿수 퍼센트 이상 향상을 이룬 것처럼 표현했습니다. 근데 자세히 뜯고 보니까, 울트라 퀄리티 플러스랑, 울트라 퍼포먼스 모드 2개를 새로 추가하면서 내부 렌더링 스...

Date2024.04.07 일반 By류오동 Reply12 Views1360

Read More
No Image

인텔 코어 울트라 5 234V가 발견

인텔 코어 울트라 5 234V가 발견됐습니다. 루나레이크 프로세서 중에서는 처음으로 이름이 확인된 모델입니다. 그런데 제품명 뒤에 V가 붙는 건 뭔지 모르겠네요. 지금까지 그런 제품은 없었거든요.

Date2024.04.07 소식 By낄낄 Reply4 Views753

Read More
AMD ROCm 플랫폼에서 나비 48이 확인

AMD ROCm 플랫폼에서 나비 48이 확인됐습니다. 나비 48은 32개의 WGP가 있는 중급형 제품으로 알려져 있습니다.

Date2024.04.07 소식 By낄낄 Reply0 Views577

Read More