인터넷 / 소프트웨어 : 윈도우즈, 리눅스, 기타 운영체제, 각종 어플리케이션, 프로그램, 소프트웨어, 인터넷, 인터넷 서비스에 대한 이야기, 소식, 테스트, 정보를 올리는 게시판입니다.

일반

2020.09.22 11:03

Ubuntu 엔비디아 드라이버가 갑자기 사라지는 현상

i5-8400 / EVGA Z370 Classified K / G.Skill DDR4 3600MHz CL15 XMP

조회 수 3024 댓글 20

Extra Form
참고/링크	https://forums.developer.nvidia.com/t/nv...ring/55702

약 1년 전 RTX TITAN 2-way 워크스테이션을 구매했습니다.

업체를 끼고 구매하였고 Ubuntu 18.04 및 각종 nvidia 드라이버, cuda, docker, anaconda 등 모두 설치된 상태로 받았습니다.

1년간 까먹고 있다가 최근에 파워 꽂고, 인터넷 연결해서 상태를 확인해보는데

SSH가 간헐적으로 끊기는겁니다... timeout 뜨면서요.

이것저것 만져보다가 결국 해결하지 못해서 아이피 충돌 혹은 내부망 불안정으로 잠정 결론내리고 1개월정도 방치했습니다.

그러다 어제 gpu 돌릴 일이 있어 서버를 다시 확인해봤습니다.

이때만 해도 nvidia-smi가 매우 잘 작동하는 상태였고 드라이버 및 쿠다 버전도 확인할 수 있었습니다.

(운좋게 이 화면을 찍어놔서 천만다행이었고 아니었으면 컴알못으로 몰릴뻔 했습니다...)

몇 분동안 핑 날려서 인터넷 안정적인지 확인한 후,

네트워크 스토리지 mount 잘 됐는지 확인하고...

모든게 순조로워서 이제 쓰면 되겠구나! 하고 리붓을 했습니다.

그런데 마운트 도와주시던 분이 급하게 연락을 하시는겁니다...

"nvidia-smi 명령어가 안되는데요?"

확인해보니...

띠용?

원인은 모르겠으나 어쨌든 드라이버가 안보입니다.

구글 선생님께 물어본 결과...

https://forums.developer.nvidia.com/t/nvidia-drivers-mysteriously-disappearing/55702

드라이버가 갑자기 사라졌다고 호소하는 분들을 발견...

"드라이버 설치 후 아무 패키지나 단 하나라도 설치하면 드라이버가 사라진다."

아이피 충돌 확인하려고 "nmblookup" 명령어 사용하기 위해 "samba-common-bin" 패키지 하나 설치했었습니다.

어제 하루종일 제 탓으로 몰리다가 오늘 겨우 원인을 발견했네요...

(사실 따지고 보면 패키지 설치한 제 탓이 맞긴 합니다만...)

어느날 엔비디아 드라이버가 갑자기 사라지신 분들께 도움 되라고 글 올립니다.

삭제 요청

목록 스크랩

위로 아래로 댓글로 가기

Comments '20'

qua1121 대학원 후 스타트업의 길을 걷습니다. 날 죽여줘... 2020.09.22 11:18

이게 이 문제였군요. 매번 쓸때마다 저 난리가 나서 결국 사용할때마다 새로운 도커 디플로이하는 식으로 처리했는데...
?
퉁퉁이 2020.09.22 11:22

엔비디아 드라이버를 엔비디아에서 제공하는 설치파일 대신
Apt를 통해서 설치하면 저는 저런 문제가 없더군요...
int20h 메인: Intel i7-5960X@4.4GHz, DDR4 2666MHz 128GB RAM, GALAX GTX1080TI ... 2020.09.22 11:34

레포에 올라오는 드라이버는 구버전이라 최신 CUDA 설치가 안됩니다...
?
퉁퉁이 2020.09.22 11:49

cuda11이 필요하신건가요?
int20h 메인: Intel i7-5960X@4.4GHz, DDR4 2666MHz 128GB RAM, GALAX GTX1080TI ... 2020.09.22 14:11

CUDA 10.1이 필요한데, 우분투 공식 레포 드라이버는 10까지만 입니다..
Koasing PROBLEM? 2020.09.22 12:39

엔비디아 레포에도 늦게 올라오나요? 프로덕션 환경이 CUDA 10.2이긴 한데 엔비디아 레포로 설치해서 문제는 없었습니다.
int20h 메인: Intel i7-5960X@4.4GHz, DDR4 2666MHz 128GB RAM, GALAX GTX1080TI ... 2020.09.22 14:09

nvidia 레포나 run파일로 설치하나 똑같더라구요..
깻잎 2020.09.22 13:37

dkms 패키지만 설치하시고 컨테이너로 나머지 지옥도를 격리하시는것도 쓸만한 방법이에요.
int20h 메인: Intel i7-5960X@4.4GHz, DDR4 2666MHz 128GB RAM, GALAX GTX1080TI ... 2020.09.22 14:12

이번에 개발 웍스 오면 가두려구요.,..
슬렌네터 Human is just the biological boot loader for A.I. 2020.09.22 11:31

리누스 토발즈: F U 엔비디아
int20h 메인: Intel i7-5960X@4.4GHz, DDR4 2666MHz 128GB RAM, GALAX GTX1080TI ... 2020.09.22 11:36

매번 재부팅할때마다 드라이버 사라져서, 구형 커널로 부팅햇는데 저래서 그렇군요..

덤으로 NVIDIA 드라이버만 깔면 컴퓨터 종료가 안되서 매번 강제 종료해야되는 버그좀..;;
?
록키베어 2020.09.22 12:42

F를 눌러 조의를 표하세요.
낄낄 2020.09.22 12:49

리눅스 서버 운용과 윈도우 PC는 사용 방법이 다르지만.. 이거 좀 큰 문제 아닌가요?
zlzleking 쌈마이 5.1.2 굴리고 있습니다 (...) 2020.09.22 12:58

리눅스 사용하는 사람은 앤비디아를 비토해야.....
ForGoTTen 결제중.... 2020.09.22 13:08

약간 다른 이야기지만... 드라이버 + CUDA +cuDNN버전 맞추다... 세번 연속으로 포멧한 적이 있습니다(...)
깻잎 2020.09.22 13:36

Nvidia LKM 은 대충 잘 돌아가니 /dev/nvidia-* 만 컨테이너 안으로 포워딩해서 엔비디아 지옥도를 따로 운용하는 것도 방법입니다. 바로 엔비디아 지옥도 설치하기 시작하면 진짜 각 안 나와요 유지보수도 지옥같고...

역시 지옥도는 컨테이너 안에 가둬야...
?
달가락 2020.09.22 13:53

우분투 쓰시면 그냥 엔비댜 리포지터리 쓰시는 것을 권장합니다. 수년동안 수십대를 다뤄왔지만 드라이버로 애 먹은적 없습니다. 아... 애 먹긴 합니다. gpu가 뻗는다던지 아니면 갑자기 nvidia-smi에서 ERR이 뜬다던지... 그냥 설치에서 애를 안먹었다고만 이해를.

18.04, CUDA 11 기준.

>> (1) 18.04 설치, 서버 버전, X.org 잡을 필요 없이 네트워크만 세팅하고 ssh만 올립니다. 디바이스를 잡거나 nouveau blacklisting, 다른 nvidia-driver 설치 같은건 안해도 됩니다. 그냥 하지 마세요. 해서 좋을게 없습니다.
>> (2) 엔비댜 리파지터리를 잡습니다.
$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.0.130-1_amd64.deb
$ sudo dpkg -i cuda-repo-ubuntu1804_10.0.130-1_amd64.deb
$ sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
$ sudo apt-get update
>> (2-1, Optional) nvinfer나 cudnn 필요하면 nvidia-machine-learning-repo도 세팅
$ wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
$ sudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
$ sudo apt-get update
(일부 .deb 패키지는 out-dated 되었을 수 있으니, 대충 경로로 가면 인덱스 나오니 패키지 명만 보고 최신 버전 받습니다.)
>> (3) 이제 대충 설치 걸어놓고 1~30분간 딴짓. 이 과정에서 Xorg도 설치되니 데스크탑 필요하면 이거 끝나고 ubuntu-desktop 같은 메타 패키지 설치하면 됩니다.
$ sudo apt install cuda cuda-11-0
>> (4) 재부팅 (nouveau를 빼야 해서 어쩔 수 없음. 자동으로 blacklisting 되니까 /etc/modprobe.* 같은거 건드리지 않아도 됩니다.)

이제 거기서 cuda-10.2 같은거 깔아야 한다면 그냥 sudo apt install cuda-toolkit-10-2으로 설치하면 됩니다. 런타임만 필요하면 아래 메타 패키지 이름을 참고해서 필요한거 설치하면 됩니다.
(참고, 메타 패키지 명명 방법: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#package-manager-metas)

머신러닝 repo를 잡으면 libcudnn도 그냥 대충 search해서 설치하시면 됩니다. 버전 지정 설치는 apt install libcudnn7=7.6.5.32-1+cuda10.2 과 같이 = 뒤에 버전을 붙여주면 됩니다.

팁 1) 그리고 nvinfer나 libcudnn7 같이 설치 후에 특정 버전을 홀드해야 하는 경우에는 다음과 같이, apt-mark 명령어를 쓰세요. apt update 할 때 마다 근본없이 다른 버전꺼 설치한다고 애 먹지 마시고...
$ sudo apt-mark hold libcudnn7 libcudnn7-dev

버전 올려야 하면 unhold로 풀어주면 됩니다.

팁 2) 가끔 거지같은 경우가 새 major 버전 나올 때 nvidia-drivers 버전 충돌(혹은 드라이버 패키지 명이 바뀐다던지)이 생길 수 있는데, 그 때는 그냥 새 major 버전으로 full 패키지를 설치하면 대개 해소됩니다. e.g. sudo apt install cuda-11-1

팁 3) 업데이트하고 NVML version mismatch 나왔을 때 재부팅하기 싫으면, 다른 프로세스 다 죽이고 (lightdm/Xorg 포함) sudo rmmod nvidia nvidia_drm nvidia_uvm nvidia_modeset 해서 모듈 4개 다 내리고 modprobe nvidia 때리고 nvidia-smi 쳐보면 대부분 해결됩니다. 문제는 모듈이 안내려가는게 문제겠지요.

ps. 한 페이지 덧글 달아서 죄송합니다. 게시글로 따로 뽑기에는 민망한 내용이라..
유우나 7460 2020.09.22 15:16

리누스 토발즈: F U 엔비디아(2)
최근 깔다가 넵 인스톨하고 세팅하다가 터져보니 정말 혈압 오르더군요
지옥도를 따로 관리안하고 깔려고 했던 자의 최후...를 맞이하니 으악 그자체더군요
?
nsys 2020.09.22 15:20

아주 예전에 우분투에서 겪었었는데 지금도 그런진 모르겠어서 확실하진 않습니다만
DKMS 제대로 안돈 상태에서 커널은 업데이트 되고 이 상태에서 재부팅 된거 아닌가 하는 생각이 듭니다.
데탑환경이라 몇번 그러고나서 살리는거 짜증나서 이후로 그냥 nouveau 쓰곤 했었죠...
유키나 자, 부탁드립니다! / 블로그 https://randomstar.blog 2020.09.22 16:44

리누스 토발즈: F U 엔비디아(3)

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

홈택스를 주기적으로 까는 사람

한동안 격조했었지요. 깔거리가 없는 건 아닌데 똑같은 문제가 그대로 남아 있는거라 굳이 새로 쓸 필요를 느끼지 못했어요. 그동안은 PC에서 접속한 웹을 깠었지만 이번에는 모바일입니다. 왜냐면 PC에서 웹을 접속하니 늘 그렇듯 작동이...

Date2020.10.28 일반 By낄낄 Reply9 Views1362

Read More
No Image

WASD와 방향키를 바꾸는 기능이 있군요

다른 게임들은 내장 벤치마크를 쓰면 되는데, 배틀그라운드는 일일이 조작을 할 필요가 있습니다. 다시보기가 있지만 그 다시보기를 만들려면 게임을 한번은 해야 하잖아요? 그리고 배틀그라운드는 패치를 할 때마다 예전 게임의 다시 보...

Date2020.10.25 일반 By낄낄 Reply6 Views4058

Read More
No Image

입타임 ddns 주소로는 인증서 발급이 제한되어 있군요

얼마전 입타임 ddns 서브도메인에서도 HTTP-01 challenge로 LetsEncrypt 인증서 발급이 가능하다는 댓글을 봤습니다. certbot 설치해서 발급을 시도해 봤는데, 안 되네요. CAA 레코드에서 발급을 막아 두었다고 오류가 납니다. (CAA를 ...

Date2020.10.24 일반 ByKoasing Reply3 Views1127

Read More
No Image

20h2 업데이트 했는데 일본어 키보드가 먹통이군요

캡스락+윈도우키가 안먹어서 영어-일본어 전환이 아예 안됩니다. 안그래도 업데이트되면서 갈수록 일본어키보드가 이상해지던데, 아예 입력조차 안되는군요?? 그래서 구글 ime 설치했습니다.. 구글 vs MS 숨막히는 소프트웨어 회사...

Date2020.10.22 일반 By케닌 Reply11 Views1021

Read More
아웃바운드가 불가능한 서버에서 Let's encrypt 갱신하기

오래간만에 리눅스 이야기로 찾아오네요. 하드웨어는 잘 몰라서 하드웨어 사이트에서 소프트웨어 이야기를 하는 나란 인간... 사랑스럽습니다. (네??) 언제나 그렇지만 아래의 내용은 제가 다니는 회사나 기타 등등 모든 저와 관련되어 ...

Date2020.10.21 일반 By달가락 Reply5 Views1591

Read More
No Image

RGB 통합 프로그램이 나왔으면 좋겠네요...

메모리 지스킬... 보드 에이수스 로그... 그래픽카드 어로스... 키보드 커세어... 마우스 레이저... 프로그램이 4개인데... LED 충돌은 안나는데... 윈도우에서 엄청 충돌 납니다... 이런건 마이크로 소프트가 중재해줬으면 좋겠습니다....

Date2020.10.18 일반 By240Hz Reply16 Views1639

Read More
금융주소한번에 서비스는 종료했지만 신청은 가능한 국민은행

이사를 하고 주소를 바꿔야 하는데, 이걸 한번에 다 옮기는 '금융주소 한번에' 서비스가 있다고 들었습니다. 이렇게 홈페이지가 있고요. 여기서 은행이나 증권사, 카드사 등의 홈페이지 링크로 이동해 신청합니다. 마음에 드는 것...

Date2020.10.17 일반 By낄낄 Reply1 Views1157

Read More
KT 인터넷은 일시 정지 상태에서 이전 설치가 안되는군요

이사를 할 때 인터넷도 옮겨야 합니다. 이사가 깔끔하게 되는 경우엔 그냥 이전 설치를 하면 끝이죠. 떼서 옮기면 되니까요. 하지만 이사가 바로 안 되는 경우는 좀 문제가 있네요. 저처럼 그 사이에 2달 가까이 시간이 남을 경우, 쓰지도...

Date2020.10.12 일반 By낄낄 Reply2 Views2414

Read More
[소프트웨어 잡담] 서브 디바이스에 광고 차단 소프트웨어를 설치했습니다. 외

1. 광고 차단 소프트웨어 설치 심심해서 App Store 무료 애플리케이션 중 받을 만한 것이 있나 둘러보고 있는데 Safari용 광고 차단 소프트웨어가 무료로 풀렸네요? 설치했습니다. 설정 가서 뭘 누르고 하라고 해서 그대로 했더니 광고 ...

Date2020.10.12 일반 By임시닉네임 Reply3 Views1380

Read More
자동 처리의 한계와 불편함

부동산 중개 앱인 다방에 매물을 하나 올려달라고 부탁을 받았습니다. 대충 이렇게 썼습니다. 제목 또는 내용에서 중개수수료 할인관련 내용(공짜, 무료, 반값)은 언급할 수 없다고 합니다. 네. 저 정책은 100% 이해합니다. 그게 잘못됐다...

Date2020.10.12 일반 By낄낄 Reply3 Views1340

Read More
사람을 농락하는 서울시 ETAX

재산세였나.. 뭐 하여간 세금내러 서울시 ETAX에 들어갔습니다. 오 새로운 서비스를 준비중이구나. 그리고 저걸로 끝입니다. 뒤에 흐릿하게 보여준 이미지를 보면, 저기서 X라던가 나가기 같은 걸 눌러서 기존 서비스에 접속하던가 새로 ...

Date2020.10.12 일반 By낄낄 Reply6 Views1652

Read More
대형 건물 내 상가의 지도 서비스 표시 문제

카카오, 네이버, 구글 셋 다 마찬가지인데, 제가 주로 쓰는 지도가 카카오 맵이니까 카카오 맵 스크린샷을 씁니다. 보헤미안 박이추 커피공장 상암점에 가려고 했습니다. 이렇게 보면 MBC 몰파크 한가운데에 있는 것처럼 보이는데요. 실제...

Date2020.10.11 일반 By낄낄 Reply4 Views808

Read More
안티바이러스와 시스템 속도 (윈도우 디펜더를 쓰지 말아야 하는 이유?)

평소에 잘 안쓰는 서브컴을 켜보면 MsMpEng.exe가 CPU나 디스크를 쳐묵하면서 시스템이 참을 수 없이 느려지는 경우가 많았습니다. 뭐하는 놈인가 찾아봤더니 Windows Defender더라고요. 안티바이러스(이하 AV)는 백그라운드에서 항시 ...

Date2020.10.09 일반 By므시므시 Reply8 Views3081

Read More
No Image

모바일 크롬의 탭 인터페이스가 롤백됐군요

모바일 크롬이 예전에는 탭을 겹쳐서 표시했으나, 어느 순간부터 바둑판처럼 한 화면에 보이도록 바뀌었지요. 인터페이스의 변화는 일장일단이 있지만 공간이 좁은 모바일 환경에서는 탭 제목이 잘려서 불편하다는 의견이 많았죠. 또 새 ...

Date2020.10.07 일반 By낄낄 Reply7 Views1221

Read More
시큐어 부팅을 끄니 비트락커 복구가 뜨네요

친구 부팅디스크 테스트 한다고 시큐어부팅 끄고 부팅확인후 그대로 종료를 했는데 집에와서 부팅을 하려니 저화면이 떠서 잠시....? 했습니다 정신차리고 메시지를 다시 읽어보니 보안부팅을 키던지 복구키를 넣으라고 해서 그때서에 시...

Date2020.10.07 일반 ByBlackbot Reply2 Views1950

Read More
No Image

지금까지 무선랜을 오해하고 있었습니다

저한테 있어 무선랜의 정의는 이랬습니다. 1. 스마트폰이나 쓰는거 2. 유선랜이 없을 때 쓰는거 왜냐면 느리고 불안정하다고 생각했기 때문이죠. 그래서 지포스 RTX 3090/3080 테스트도 참 힘들게 진행했습니다. 지금 부모님 집에 얹혀있...

Date2020.10.05 일반 By낄낄 Reply22 Views12995

Read More
ROCm은 쪼옴.. 그래요...

제가 작년 9월달쯤에 3500U 노트북을 사서 머신러닝 하겠다고 난리쳤다가 안돼서 기글 특가해서 엄청 싸게 후려쳤는데도 안되서 기글특가 그대로 중고딩나라에서 쿨매 했었죠. 웃긴건 팔고 나서 몇달 지나니까 피카소에서도 잘 돌아...

Date2020.10.05 일반 By뚜찌`zXie Reply9 Views3006

Read More
윈도우 10 2004 반강제 업데이트 후기

작년에 SN750 1TB를 직구해온 이후로 여태 계속 써오던 윈도우 10 버전은 1909였었습니다. 그 장치를 장착하고 윈도우를 재설치한 직후 분명 서비스 항목에서 윈도우 업데이트 항목을 강제로 중지로 뒀었음에도 불구하고 중간에 윈도우 ...

Date2020.10.04 일반 ByRetribute Reply12 Views1856

Read More
공유기 3년째인데 크게 부족한걸 모르겠네요

3년전에 저 공유기를 구매했는데 그당시에 아피타임 물건치고 8만원이면 고가형에 속했는데 아예 사는거 한번에 비싼거 사자했는데 그당시에 공유기에 들어갈만한건 다들어간 물건이다보니 현시점에서도 크게 밀린다는 느낌은 못받고 ...

Date2020.10.04 일반 ByBlackbot Reply12 Views819

Read More
YouTube 애플리케이션 댓글 표시가 달라진 것 같습니다.

(SM-N910K, Android 6.0.1 Latest, 15.38.35) 이제 베스트 댓글 두 개가 보입니다. 댓글 올리기 박스가 생겨 더 직관적으로 변했고요. +) 이전에는 베스트 댓글이 하나만 보였으며, 댓글 올리기 박스가 없었습니다.

Date2020.10.01 일반 By임시닉네임 Reply3 Views730

Read More