인터넷 / 소프트웨어 : 윈도우즈, 리눅스, 기타 운영체제, 각종 어플리케이션, 프로그램, 소프트웨어, 인터넷, 인터넷 서비스에 대한 이야기, 소식, 테스트, 정보를 올리는 게시판입니다.

일반

2020.09.22 11:03

Ubuntu 엔비디아 드라이버가 갑자기 사라지는 현상

i5-8400 / EVGA Z370 Classified K / G.Skill DDR4 3600MHz CL15 XMP

조회 수 3019 댓글 20

Extra Form
참고/링크	https://forums.developer.nvidia.com/t/nv...ring/55702

약 1년 전 RTX TITAN 2-way 워크스테이션을 구매했습니다.

업체를 끼고 구매하였고 Ubuntu 18.04 및 각종 nvidia 드라이버, cuda, docker, anaconda 등 모두 설치된 상태로 받았습니다.

1년간 까먹고 있다가 최근에 파워 꽂고, 인터넷 연결해서 상태를 확인해보는데

SSH가 간헐적으로 끊기는겁니다... timeout 뜨면서요.

이것저것 만져보다가 결국 해결하지 못해서 아이피 충돌 혹은 내부망 불안정으로 잠정 결론내리고 1개월정도 방치했습니다.

그러다 어제 gpu 돌릴 일이 있어 서버를 다시 확인해봤습니다.

이때만 해도 nvidia-smi가 매우 잘 작동하는 상태였고 드라이버 및 쿠다 버전도 확인할 수 있었습니다.

(운좋게 이 화면을 찍어놔서 천만다행이었고 아니었으면 컴알못으로 몰릴뻔 했습니다...)

몇 분동안 핑 날려서 인터넷 안정적인지 확인한 후,

네트워크 스토리지 mount 잘 됐는지 확인하고...

모든게 순조로워서 이제 쓰면 되겠구나! 하고 리붓을 했습니다.

그런데 마운트 도와주시던 분이 급하게 연락을 하시는겁니다...

"nvidia-smi 명령어가 안되는데요?"

확인해보니...

띠용?

원인은 모르겠으나 어쨌든 드라이버가 안보입니다.

구글 선생님께 물어본 결과...

https://forums.developer.nvidia.com/t/nvidia-drivers-mysteriously-disappearing/55702

드라이버가 갑자기 사라졌다고 호소하는 분들을 발견...

"드라이버 설치 후 아무 패키지나 단 하나라도 설치하면 드라이버가 사라진다."

아이피 충돌 확인하려고 "nmblookup" 명령어 사용하기 위해 "samba-common-bin" 패키지 하나 설치했었습니다.

어제 하루종일 제 탓으로 몰리다가 오늘 겨우 원인을 발견했네요...

(사실 따지고 보면 패키지 설치한 제 탓이 맞긴 합니다만...)

어느날 엔비디아 드라이버가 갑자기 사라지신 분들께 도움 되라고 글 올립니다.

삭제 요청

목록 스크랩

위로 아래로 댓글로 가기

Comments '20'

qua1121 대학원 후 스타트업의 길을 걷습니다. 날 죽여줘... 2020.09.22 11:18

이게 이 문제였군요. 매번 쓸때마다 저 난리가 나서 결국 사용할때마다 새로운 도커 디플로이하는 식으로 처리했는데...
?
퉁퉁이 2020.09.22 11:22

엔비디아 드라이버를 엔비디아에서 제공하는 설치파일 대신
Apt를 통해서 설치하면 저는 저런 문제가 없더군요...
int20h 메인: Intel i7-5960X@4.4GHz, DDR4 2666MHz 128GB RAM, GALAX GTX1080TI ... 2020.09.22 11:34

레포에 올라오는 드라이버는 구버전이라 최신 CUDA 설치가 안됩니다...
?
퉁퉁이 2020.09.22 11:49

cuda11이 필요하신건가요?
int20h 메인: Intel i7-5960X@4.4GHz, DDR4 2666MHz 128GB RAM, GALAX GTX1080TI ... 2020.09.22 14:11

CUDA 10.1이 필요한데, 우분투 공식 레포 드라이버는 10까지만 입니다..
Koasing PROBLEM? 2020.09.22 12:39

엔비디아 레포에도 늦게 올라오나요? 프로덕션 환경이 CUDA 10.2이긴 한데 엔비디아 레포로 설치해서 문제는 없었습니다.
int20h 메인: Intel i7-5960X@4.4GHz, DDR4 2666MHz 128GB RAM, GALAX GTX1080TI ... 2020.09.22 14:09

nvidia 레포나 run파일로 설치하나 똑같더라구요..
깻잎 2020.09.22 13:37

dkms 패키지만 설치하시고 컨테이너로 나머지 지옥도를 격리하시는것도 쓸만한 방법이에요.
int20h 메인: Intel i7-5960X@4.4GHz, DDR4 2666MHz 128GB RAM, GALAX GTX1080TI ... 2020.09.22 14:12

이번에 개발 웍스 오면 가두려구요.,..
슬렌네터 Human is just the biological boot loader for A.I. 2020.09.22 11:31

리누스 토발즈: F U 엔비디아
int20h 메인: Intel i7-5960X@4.4GHz, DDR4 2666MHz 128GB RAM, GALAX GTX1080TI ... 2020.09.22 11:36

매번 재부팅할때마다 드라이버 사라져서, 구형 커널로 부팅햇는데 저래서 그렇군요..

덤으로 NVIDIA 드라이버만 깔면 컴퓨터 종료가 안되서 매번 강제 종료해야되는 버그좀..;;
?
록키베어 2020.09.22 12:42

F를 눌러 조의를 표하세요.
낄낄 2020.09.22 12:49

리눅스 서버 운용과 윈도우 PC는 사용 방법이 다르지만.. 이거 좀 큰 문제 아닌가요?
zlzleking 쌈마이 5.1.2 굴리고 있습니다 (...) 2020.09.22 12:58

리눅스 사용하는 사람은 앤비디아를 비토해야.....
ForGoTTen 결제중.... 2020.09.22 13:08

약간 다른 이야기지만... 드라이버 + CUDA +cuDNN버전 맞추다... 세번 연속으로 포멧한 적이 있습니다(...)
깻잎 2020.09.22 13:36

Nvidia LKM 은 대충 잘 돌아가니 /dev/nvidia-* 만 컨테이너 안으로 포워딩해서 엔비디아 지옥도를 따로 운용하는 것도 방법입니다. 바로 엔비디아 지옥도 설치하기 시작하면 진짜 각 안 나와요 유지보수도 지옥같고...

역시 지옥도는 컨테이너 안에 가둬야...
?
달가락 2020.09.22 13:53

우분투 쓰시면 그냥 엔비댜 리포지터리 쓰시는 것을 권장합니다. 수년동안 수십대를 다뤄왔지만 드라이버로 애 먹은적 없습니다. 아... 애 먹긴 합니다. gpu가 뻗는다던지 아니면 갑자기 nvidia-smi에서 ERR이 뜬다던지... 그냥 설치에서 애를 안먹었다고만 이해를.

18.04, CUDA 11 기준.

>> (1) 18.04 설치, 서버 버전, X.org 잡을 필요 없이 네트워크만 세팅하고 ssh만 올립니다. 디바이스를 잡거나 nouveau blacklisting, 다른 nvidia-driver 설치 같은건 안해도 됩니다. 그냥 하지 마세요. 해서 좋을게 없습니다.
>> (2) 엔비댜 리파지터리를 잡습니다.
$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.0.130-1_amd64.deb
$ sudo dpkg -i cuda-repo-ubuntu1804_10.0.130-1_amd64.deb
$ sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
$ sudo apt-get update
>> (2-1, Optional) nvinfer나 cudnn 필요하면 nvidia-machine-learning-repo도 세팅
$ wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
$ sudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
$ sudo apt-get update
(일부 .deb 패키지는 out-dated 되었을 수 있으니, 대충 경로로 가면 인덱스 나오니 패키지 명만 보고 최신 버전 받습니다.)
>> (3) 이제 대충 설치 걸어놓고 1~30분간 딴짓. 이 과정에서 Xorg도 설치되니 데스크탑 필요하면 이거 끝나고 ubuntu-desktop 같은 메타 패키지 설치하면 됩니다.
$ sudo apt install cuda cuda-11-0
>> (4) 재부팅 (nouveau를 빼야 해서 어쩔 수 없음. 자동으로 blacklisting 되니까 /etc/modprobe.* 같은거 건드리지 않아도 됩니다.)

이제 거기서 cuda-10.2 같은거 깔아야 한다면 그냥 sudo apt install cuda-toolkit-10-2으로 설치하면 됩니다. 런타임만 필요하면 아래 메타 패키지 이름을 참고해서 필요한거 설치하면 됩니다.
(참고, 메타 패키지 명명 방법: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#package-manager-metas)

머신러닝 repo를 잡으면 libcudnn도 그냥 대충 search해서 설치하시면 됩니다. 버전 지정 설치는 apt install libcudnn7=7.6.5.32-1+cuda10.2 과 같이 = 뒤에 버전을 붙여주면 됩니다.

팁 1) 그리고 nvinfer나 libcudnn7 같이 설치 후에 특정 버전을 홀드해야 하는 경우에는 다음과 같이, apt-mark 명령어를 쓰세요. apt update 할 때 마다 근본없이 다른 버전꺼 설치한다고 애 먹지 마시고...
$ sudo apt-mark hold libcudnn7 libcudnn7-dev

버전 올려야 하면 unhold로 풀어주면 됩니다.

팁 2) 가끔 거지같은 경우가 새 major 버전 나올 때 nvidia-drivers 버전 충돌(혹은 드라이버 패키지 명이 바뀐다던지)이 생길 수 있는데, 그 때는 그냥 새 major 버전으로 full 패키지를 설치하면 대개 해소됩니다. e.g. sudo apt install cuda-11-1

팁 3) 업데이트하고 NVML version mismatch 나왔을 때 재부팅하기 싫으면, 다른 프로세스 다 죽이고 (lightdm/Xorg 포함) sudo rmmod nvidia nvidia_drm nvidia_uvm nvidia_modeset 해서 모듈 4개 다 내리고 modprobe nvidia 때리고 nvidia-smi 쳐보면 대부분 해결됩니다. 문제는 모듈이 안내려가는게 문제겠지요.

ps. 한 페이지 덧글 달아서 죄송합니다. 게시글로 따로 뽑기에는 민망한 내용이라..
유우나 7460 2020.09.22 15:16

리누스 토발즈: F U 엔비디아(2)
최근 깔다가 넵 인스톨하고 세팅하다가 터져보니 정말 혈압 오르더군요
지옥도를 따로 관리안하고 깔려고 했던 자의 최후...를 맞이하니 으악 그자체더군요
?
nsys 2020.09.22 15:20

아주 예전에 우분투에서 겪었었는데 지금도 그런진 모르겠어서 확실하진 않습니다만
DKMS 제대로 안돈 상태에서 커널은 업데이트 되고 이 상태에서 재부팅 된거 아닌가 하는 생각이 듭니다.
데탑환경이라 몇번 그러고나서 살리는거 짜증나서 이후로 그냥 nouveau 쓰곤 했었죠...
유키나 자, 부탁드립니다! / 블로그 https://randomstar.blog 2020.09.22 16:44

리누스 토발즈: F U 엔비디아(3)

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

스포티파이 북미 한국계정 간단 비교

국내계정 북미계정 가요는 06년도까지만 듣고 그이후는 아이돌위주로 되어서 아예 안듣고 인디쪽이나 tula같은 애니곡 위주로 하시는 분들 노래만 들어서 07년도 이후 가요는 아예 몰라서 일딴 요즘 스포티파이에 아...

Date2021.02.03 테스트 By에사카 Reply1 Views1072

Read More
스포티파이 한국계정 다른나라 계졍으로 간단하게 바꾸는법

1.국내계정 만들걸 일딴 vpn을 깔아서 링크에있는 원하는 나라로 들어가서 변경하시면 됩니다. 크롬에 확장프로그램 무료 vpn아무거나 하면됩니다. 국내계정도 팝송많고 일본노래 좋아하는 분들은 씹드억 애니노래 게임노래들 많아서 ...

Date2021.02.02 테스트 By에사카 Reply9 Views20288

Read More
No Image

가상PC에서 게임을 실행시켜보아요 (VMWare)

얼마전까지만 하더라도 VMWare에서 3D 게임을 하는 것은 불가능에 가까웠는데, 이번에 VMWare Workstation 16이 나오면서 DirectX 11 지원기능이 추가되었더라구요. 그래서 한번 체험해 보았습니다. 먼저 3DMark입니다. DirectX 11 벤치...

Date2020.10.30 테스트 By부녀자 Reply8 Views8085

Read More
새로운 StoreMI 2.0 (BETA)를 설치해봤습니다.

올해 새로이 라이젠5 3600+B450 시스템을 맞추면서 개인적으로 기대했던 기능이 하나 있는데 바로 하드디스크의 용량과 SSD의 성능을 결합해주는 StoreMI이었습니다. NAS 용량을 업그레이드하면서 남은 하드디스크와 그 NAS를 사면서 경품...

Date2020.09.01 테스트 By라데니안 Reply15 Views4236

Read More
유튜브 인터넷 동영상 풀사이즈로 보여주는 프로그램 21:9 모니터 호환됨

https://chrome.google.com/webstore/detail/ultrawidify/dndehlekllfkaijdlokmmicgnlanfjbi/related 크롬용 https://addons.mozilla.org/ko/firefox/addon/ultrawidify/ 파폭용 맥 윈도우 2개다 잘되요.21:9 비율 모니터 사용자...

Date2020.06.25 테스트 By에사카 Reply4 Views2581

Read More
라이트룸에서 필요한 CPU와 메모리 테스트

라이트룸에서 필요한 CPU와 메모리가 얼마나 되는지를 테스트한 글입니다. AMD는 라이젠 3950X, 3900X, 3700X, 3600, 3500X, 3400G, 2700X, 2600, 2200G 인텔은 코어 10980XE, 9900KS, 9900K, 9700K, 9600K, 9400F, 8700K, 8100 그래픽카...

Date2020.05.07 테스트 By낄낄 Reply12 Views4920

Read More
10Gbps 인터넷 실제 사용 후기

인터넷을 10Gbps로 신청했습니다. 한국에서도 서비스중인걸로 아는데, 여기는 일본입니다. 기글분들은 들어보신분들 많으시겠지만 일본은 인터넷 신청기간이 깁니다. 한국은 막말로 수도권내에서 좀 닥달하면 당일처리도 가능은 하...

Date2020.03.16 테스트 By멘탈리스트 Reply26 Views9940

Read More
호무라님의 Nord VPN보고 테스트한 Express VPN 입니다.

유플러스 100메가 광랜 / 5Ghz AC 와이파이 / 갤럭시 S10e / 2019-07-06 16:30경 사람이 있는 카페에서 테스트한거라 결과수치가 정확하지 않습니다. ↑ Ookla 서울서버 / VPN 미사용 다른 분들도 쓰고 있어 다운로드가 90밖에 안 찍히...

Date2019.07.06 테스트 By깍지 Reply9 Views2180

Read More
Nord VPN 속도 테스트 및 후기

Nord VPN을 1개월어치 구매했습니다. 우선 사용해보고 환불할지 안할지 결정하려고요. 일단 ExpressVPN과 함께 양대산맥으로 둘은 비슷한 서비스와 기능을 가지고 있지만, Nord가 가격이 저렴합니다. 그 이유는 속도 때문인데요, 얼마나 ...

Date2019.07.06 테스트 By호무라 Reply18 Views12218

Read More
휴맥스 T3Av2-B 간단사용기.

기존에 쓰던 IPTIME A2004 제품의 무선성능이 불만이어서 휴맥스 T3Av2-B 공유기를 구입하였습니다. 성능상 옆그레이드라 살 생각은 없었는데, 이마트 전용모델이라며 하얀색보다 2만원 싸길래 써보고 아닌가 싶으면 비싼걸 사자 생각...

Date2019.05.06 테스트 By하루살이 Reply6 Views2680

Read More
1주일 좀 더 써본 A8004T 소감

iptime이라고 하면 자고로 저렴하고, 그 가격대에서 괜찮은 공유기 정도로 인식됩니다. 그옛날에는 AnyGate와 시장을 양분했던것으로 생각되나, 현재는 iptime하나로 모든곳이 통일되어있죠. 그리고 이 균형을 깨트리기 시작한것이 외산 ...

Date2019.04.09 테스트 By멘탈적분 Reply29 Views16626

Read More
저희 집에는 전력선 모뎀(전력선 어댑터)가 맞지 않나 봅니다

원래 이런 '물건'은 가젯/테크에 올릴려고 했는데, 어느샌가 네트워크 전반까지 다들 여기에 올리시는 분위기라.. 사실 게시판 제목의 '인터넷'은 '웹'에서 있었던 일을 의미하는 거였는데 말이죠. 게시판 정돈을...

Date2019.04.05 테스트 By낄낄 Reply13 Views6365

Read More
FTTH모뎀 위치를 바꾸고 싶은데 광케이블 길이가 짧다면?

옆동네 어느 게시판에 한 문의 글을 봤습니다. KT FTTH 모뎀을 사용하고 있고 장비를 옮기고 싶은데 광케이블을 어떻게 해야하는가? 에 대한 질문글이었습니다. 약간의 여장을 준다고 해도 몇 미터 남짓일테고 대부분이 비교적 짧게 설...

Date2019.03.12 테스트 By스이드림 Reply24 Views8452

Read More
KT 100Mbps 넷플릭스 연결 속도

사실 아침이라서 그런가 속도 자체는 엄청 빨리 나오는데 막상 저녁쯤 되면 5~10Mbps 간당간당하게 나옵니다.

Date2019.02.07 테스트 ByMinny Reply2 Views1945

Read More
U+ 해외망 속도 측정

넷플릭스 및 해외 주요 통신사와 주요 대학 SPEEDTEST 서버를 이용해 측정 했어요. 1. NETFLIX (FAST.COM) UHD 권장속도가 25mbps이니 ( https://help.netflix.com/ko/node/306 ) 간당간당하게 가능하네요. 2. 뉴욕 ( 타임 ...

Date2019.02.06 테스트 By넥부심 Reply6 Views1696

Read More
월-빼빠 엔진 듣던거 보다 괜찮네요

소문으로만 들었을때는 전부 10가지 덕을 갖춘그런 자료들만 가득찬줄 알았어요 그런데 사서 해보니 이쁜것도 많고 찾기도 쉽더군요 일할때 쓰는 컴퓨터에 마음에 드는 배경 10가지 채우는데 인터넷속도외의 장애물은 없었습니다. 햇살...

Date2018.12.10 테스트 By고자되기 Reply5 Views843

Read More
iOS 12 간단한 소감

iOS 12가 정식 출시된지 대략 2주가 좀 넘었습니다. 저는 새로 산 6세대를 제외하면 11이 별로 맘에 안들었기 때문에 10.3.3을 유지중이었으나 슬슬 지원이 안되는 앱들이 생겨 넘어가게 되었습니다. 업데이트 환경은 DFU후 복원을 택했...

Date2018.09.29 테스트 ByPARK_SU Reply16 Views1839

Read More
No Image

여러가지 코덱으로 저화질 인코딩 해 보았습니다 (AV1 포함)

각 동영상 코덱 형식의 성능이 어떤지 궁금하여 직접 인코딩해보았습니다. MPEG-1을 제외한 모든 영상은 1080p (1920x800)로 인코딩한뒤 4K 영상으로 확대한 다음 Vimeo에 업로드하였습니다. 저화질 성능을 보기위헤 최대한 500kbps에 ...

Date2018.09.26 테스트 By부녀자 Reply27 Views4876

Read More
어도비 프리미어 프로 CC의 그래픽카드 가속

어도비 프리미어 프로 CC에서 그래픽카드 가속에 따른 성능 차이입니다. 동영상 편집의 수준이 다르기에, 이 테스트가 전문 영상 제작 과정을 반영하진 못합니다. 그래도 참고는 되겠죠. 지포스 GTX 1050 Ti와 지포스 GTX 1060의 차이가 ...

Date2018.08.27 테스트 By낄낄 Reply7 Views6453

Read More
AMD StoreMI의 성능 테스트

2세대 라이젠과 함께 출시된 소켓 AM4용 칩셋인 AMD X470은 AMD StoreMI 기술을 쓸 수 있습니다. AMD StoreMI는 Enmotus가 서버용으로 제공하는 유료 프로그램인 FuzeDrive Virtual SSD를 일반 소비자용으로 바꾼 것입니다. SSD와 하드디...

Date2018.05.10 테스트 By낄낄 Reply1 Views3090

Read More