Skip to content

기글하드웨어기글하드웨어

인터넷 / 소프트웨어 : 윈도우즈, 리눅스, 기타 운영체제, 각종 어플리케이션, 프로그램, 소프트웨어, 인터넷, 인터넷 서비스에 대한 이야기, 소식, 테스트, 정보를 올리는 게시판입니다.

Extra Form

어떤 상황이었는지 간략하게 설명하면 다음과 같습니다.

 

1. A라는 데이터가 있으며 용량은 1GB.

2. A를 가지고 Python으로 연산을 수행해 B라는 형태로 재가공해서 저장하려고 함.

3. 이때 B의 형태로 A를 연산한 결과물이 하나씩 램에 쌓임.

4. 계산하고 있던 서버가 서서히 멈추더니 갑자기 접속이 끊김.

5. 계산해보니 서버컴이 가진 램이 16GB인데 B를 저장할 경우 20GB가 필요함.

6. 아마도 메모리가 부족해서 컴이 뻗은 것 같음....

 

서버 OS는 우분투이고 도커에서 돌렸습니다.

내일 가서 재부팅해야 할 거 같습니다.

 

이런 상황에서는 암만 기다려도 코드 실행이 안 끝나는 거 같더라구요.

저 상황에서 컴퓨터 안에서는 어떤 일이 일어나는지, 해결책이 어떤 게 좋을지 알고자 질문드립니다.

 

1. 이 상황에서 내버려두면 언젠가 코드 실행이 끝나는 건가요 아니면 계속 저 상태에 남는 건가요?

2. 프로세스(이 경우 Python)의 램 사용량이 너무 높을 때 해당 프로세스를 강제로 종료할 수 있는 방법이 있을까요? 코드 실행에 실패하면 다시 돌리면 되니까 뻗는 거라도 방지하고 싶습니다.



  • profile
    슬렌네터      Human is just the biological boot loader for A.I. 2021.12.01 00:52
    또다른 평행세계인건지 PTSD 오는 내용이네요...

    비슷한 상황의 어느 회사의 어느 부서에 일이였는데

    전산 담당이라서 개입할 이유도 없고 개입햇다가 괜히 불똥이 날라올까봐 걍 버로우 모드로 있었는데

    "일단 뭔가 돌아가니까 냅둬보는게 낫지 않을까 하는 생각이 드는데요?"

    라고 해서 냅둿더니 일단 작업이 완료가 되긴 햇습니다

    그때 데이터 용량이 830메가 짜리였는데, 램 용량이 기억 안나네요.

    3주 걸렸습니다... 파이썬 램 사용량 진짜 미치게 쳐먹긴했는데... 어짜피 그 프로젝트는 해야 하기에 걍 냅두는게 맞긴 하지만, PM과 사장 입장에선 전기세 ㅂㄷㅂㄷ 시간낭비 ㅂㄷㅂㄷ 해서 노발대발 했던 기억이 나네요
  • ?
    CyBerry 2021.12.01 00:58
    와.. 담부턴 코드 돌리기 전에 꼭 체크해봐야겠네요
    다행히 방금 계산 끝나서 서버 접속되고 있습니다.
    당장 내일 모래까지 결과 내야 하는데 3주 걸린다 생각하면 끔찍합니다..
  • profile
    슬렌네터      Human is just the biological boot loader for A.I. 2021.12.01 01:30
    금방 끝나셧네요!?

    하긴 몇년전과 지금 최신의 하드웨어의 스펙 차이면 뭐 납득되네요
  • ?
    Neons 2021.12.01 01:33
    리눅스 커널은 메모리가 부족할 때 메모리 많이 먹는 프로세스를 강제로 종료시켜서 옥체를 보존하시도록 되어있습니다. 만약 컴이 완전히 뻗어버렸다면 그건 메모리가 아니라 CPU/네트워크/디스크 용량 문제일 가능성이 더 높다고 봐야겠죠. 이를테면: 1. CPU가 너무 바빠 연결 요청을 처리하지 못한다. 2. CPU 쿨링이 부족해 하드웨어적으로 꺼졌다. 3. 네트워크를 너무 많이 써서 연결용 패킷이 자꾸 드랍된다. 4. 디스크 남은용량이 0바이트가 되는 바람에 연결 요청을 처리하려다 디스크 쓰기를 못해서 실패한다.

    일단 코드를 고치지 않고 시도할 수 있는 방법은 다음과 같습니다: 1. 메모리를 늘린다... 2. 스왑파일을 추가한다...
  • profile
    슬렌네터      Human is just the biological boot loader for A.I. 2021.12.01 03:05
    어? 그럼 저의 경우는 윈도우서버 운영체제였던거라서 간신히 살아서 처리되어졌던 거군요
  • ?
    CyBerry 2021.12.01 11:13
    애석하게도 둘다 블가능하기에 코드를 고쳐야겠네요..
    게다가 생각보다 고려할 게 많네요 ㅠㅠ..
    감사합니다.
  • profile
    오노데라코사키      おのでらちゃんマジ天使! 2021.12.01 09:41
    1. 스왑 메모리를 사용해서 끝날수도 있고 헹 걸려서 그 상태에서 멈춰있거나 크래시나서 꺼질수도 있습니다.
    2. Neons님이 말해주셨지만 리눅스 커널에는 OOM(Out Of Memory) Killer가 있습니다. 강제로 호출하는 방법은 있긴 하지만 실제로 해본적이 없어서 잘 모르겠네요.
    https://unix.stackexchange.com/questions/153585/how-does-the-oom-killer-decide-which-process-to-kill-first
    https://lynxbee.com/how-to-invoke-oom-killer-manually-for-understanding-which-process-gets-killed-first/
  • ?
    CyBerry 2021.12.01 11:15
    감사합니다 이쪽도 한번 알아봐야겠네요
  • ?
    wisewolf 2021.12.01 10:04
    스왑 넉넉하게 주셨으면 언젠가 끝나긴 할 텐데 굉장히 느리겠죠. oom killer는 자기가 판단해서 죽이는 놈이라 엄한놈이 죽을수 있는데다가 물리적인 메모리가 부족한건 어떻게 해주진 못하죠.
    0. 메모리 증설
    1. batch로 쪼개서 처리
    2. 자료구조 개선
    3. GC 최적화
    4. 압축 후 메모리 저장
    5. DB 사용
    여러가지 옵션이 있겠습니다만 0,1은 항상 옳고 2,3번은 경우에따라 불가능할수도 있고 4,5번은 근본적인 해결책이 아니니까 고려해보세요.
    1gb짜리 데이터가 20gb정도가 필요하단거는 압축을 풀거나 sparse matrix형태로 인코딩하는거같은데 b의 데이터가 조회가 빈번해서 인메모리에 넣어두고 계속해서 조회해야 되는게 아닌이상 단순한 ETL작업은 배치처리가 제일 이상적인 답이긴 합니다.
  • ?
    CyBerry 2021.12.01 11:19
    넵 저도 배치 처리를 생각해봤는데 속도 차이가 많이 날 것 같아서 후순위로 미뤘는데...
    일단 돠게 해야 하는 게 우선이라 이걸로 해봐야겠습니다 감사합니다.
  • profile
    ForGoTTen      결제중.... 2021.12.01 13:10
    저희가 항상 하는 작업이군요. GPU위에서라는게 다르지만...
    다만.... 가능하면 H/W 리소스의 추가가 대부분 빠르고 쉽게 끝납니다. 저희는 기존 상용 H/W 이상이 필요하니 최적화를 하지만서도...

    H/W 추가가 불가능한데 성능이 문제라면... 적당한 크기의 batch로 나누고, operation & I/O overlapping을 하는 수 밖에 없습니다. (연산과 batch를 읽고 쓰기는 작업이 parallel하게...)
  • ?
    오곡미숫가루 2021.12.01 14:54
    모든 데이터가 동시에 램에 올라와야하는게 아니라면 일단 pickle형태로 serialize 하고 필요하면 읽는 방식으로 하면 될 것 같습니다.
  • profile
    BEE3E3      idolm@ster.email 2021.12.01 15:13
    그냥 부분적으로 처리해서 결과물을 여러번에 걸쳐 출력하면 안되나요...?
  • ?
    Letrhee 2021.12.01 17:30
    데이터 저장이 메인인 작업이라면 그 부분은 mmap을 사용하세요.

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.


  1. No Image

    다음 클리너 서비스 종료

    카카오는 2021년 11월 30일 다음 공지사항을 통해 다음 클리너 서비스를 2021년 12월 30일에 종료할 것임을 알렸습니다. 서비스 종료 후에는 프로그램의 다운로드 및 업데이트가 중단될 예정입니다.
    Date2021.12.04 소식 By달달한과자 Reply3 Views1642
    Read More
  2. No Image

    윈도우 11의 보급 속도는 별로?

    Lansweeper의 설문 조사에 따르면 윈도우 11로 업데이트한 사람이 0.21%밖에 안 된다고 합니다. 천만개 이상의 윈도우 디바이스를 대상으로 조사한 결과, 윈도우 11보다 윈도우 XP나 윈도우 8의 점유율이 더 높았다네요. https://www.tech...
    Date2021.12.04 소식 By낄낄 Reply14 Views1047
    Read More
  3. No Image

    BadgerDAO 가상화폐 플랫폼이 해킹. 1억 2천만 달러의 토큰 도난

    가상화폐 플랫폼인 BadgerDAO가 해킹됐습니다. 이곳 사이트의 UI에 악성 스크립트를 삽입해 Web3 트랜잭션을 탈취, 피해자의 토큰을 공격자의 주소로 보내는 요청을 삼입했다고 합니다. 2단계 인증 보호를 거치지 않고 클라우드플레어 API...
    Date2021.12.04 소식 By낄낄 Reply0 Views404
    Read More
  4. No Image

    16비트 윈도우 1.0 프로그램을 64비트 윈도우 11로 포팅하기

        NTVDMx64나 OTVDM같이 기존 NTVDM을 이용하여 최신 Windows 환경에서 도스 시절 프로그램을 구동한 건 본적이 있는데, 여기선 아에 네이티브로 포팅을 해버렸네요. 역시 덕중의 덕은 양덕후라더니.... 윈도우 1.0 SDK에 포함되어 있던...
    Date2021.12.03 일반 Bytitle: 폭8아수슨스브 Reply3 Views3707
    Read More
  5. No Image

    윈도우 11 인사이더 프리뷰 빌드 22509 발표

    윈도우 11 인사이더 프리뷰 빌드 22509가 Dev 채널에 출시됐습니다. 내래이터를 사용해 엣지에서 웹을 검색하는 과정이 편해지고, 시작 버튼을 마우스 우클릭해 시작 메뉴를 설정할 수 있습니다. 보조 모니터에 시계나 날짜를 표시하며 알...
    Date2021.12.03 소식 By낄낄 Reply1 Views548
    Read More
  6. No Image

    150종 이상의 HP 복합기에 취약점이 존재

    150종 이상의 HP 복합기에 취약점이 존재합니다. 이를 악용해 복합기의 사용 권한을 획득하고 네트워크 침투가 가능합니다. 통신 보드와 폰트 파서에 취약점이 존재하는데, 보드 취약점은 물리적 액세스가 필요하고 보드 파서는 원격 접근...
    Date2021.12.03 소식 By낄낄 Reply2 Views650
    Read More
  7. No Image

    저전력 장거리 통신 기술, Wi-Fi CERTIFIED HaLow

    WiFi 얼라이언스가 저전력 장거리 통신 기술인 Wi-Fi CERTIFIED HaLow를 발표했습니다. IoT 장비에서 쓰는 게 목표입니다. IEEE 802.11ah라 부르는 1GHz 미만 대역에서 작동하며, 몇 년 동안 배터리 교체가 필요 없습니다. 암호화는 WPA3...
    Date2021.12.03 소식 By낄낄 Reply1 Views799
    Read More
  8. No Image

    HDClone 9.0.11a 조심하세요...

    어제 이 프로그램으로 하드 복사하다가 파티션 날려먹어서 비게에 징징댔는데 검색해보니 하드를 Raw로 만들어버린다네요... 다행히 백업도 있고 살려냈습니다!
    Date2021.12.02 일반 BySOCOM Reply8 Views3308
    Read More
  9. 비트코인 거래량이 페이팔을 추월

    비트코인은 디지털 거래를 위해 등장했지만 지금은 투자 수단으로 더 많이 쓰는 것 같습니다. 어쨌건 비트코인이 페이팔보다는 더 많은 거래를 처리했다고 하네요. 하지만 비자나 마스터카드에 비교할 수준은 아닙니다.
    Date2021.12.02 소식 By낄낄 Reply3 Views737 file
    Read More
  10. No Image

    8주간 유튜브만 본 AI, 무례해졌다

    인공지능(AI) 전문기업인 솔트룩스의 연구진은 다섯 살 정도 지능을 가진 AI인 ‘가람이1·2’를 8주일간 학습시키며 대화법 변화를 살펴보다가 충격적인 결과를 받았다. 가람이1에는 LG유플러스의 키즈 콘텐트인 ‘...
    Date2021.12.01 소식 By낄낄 Reply17 Views1781
    Read More
  11. No Image

    컴퓨터 계산에 램이 부족한 상황에 대해 질문드립니다

    어떤 상황이었는지 간략하게 설명하면 다음과 같습니다.   1. A라는 데이터가 있으며 용량은 1GB. 2. A를 가지고 Python으로 연산을 수행해 B라는 형태로 재가공해서 저장하려고 함. 3. 이때 B의 형태로 A를 연산한 결과물이 하나씩 램에 ...
    Date2021.12.01 질문 ByCyBerry Reply14 Views2579
    Read More
  12. No Image

    트위터 잭 도시 CEO 사임..암호화폐에 집중

    트위터 공동 창업자 잭 도시가 최고경영자(CEO) 자리에서 물러난다고 29일(현지시간) 발표했다. 지난 2007년 트위터 CEO에 올랐다가 다음해 회사를 떠났으나 2015년 트위터 CEO로 복귀했다. 후임은 파라그 아그라왈 현 최고기술책임자(CTO...
    Date2021.11.30 소식 By낄낄 Reply2 Views725
    Read More
  13. 오미크론 가상화폐가 급등 중

    오미크론이라는 코로나 변종이 돌고 있다는 발표 이후로 투자자들이 보다 안전한 자산을 찾으면서 가상화폐 시세가 일제히 떨어지고 있습니다. 비트코인은 고점 대비 20%가 떨어지기도 했습니다. 하지만 오미크론이라는 가상화폐는 가격이...
    Date2021.11.30 소식 By낄낄 Reply10 Views1816 file
    Read More
  14. 이케아 회사 메일이 계속해서 털리는 중

    이케아 회사 메일 시스템이 해킹돼 이케아 직원들에게 계속해서 피싱 메일이 발송 중이라고 합니다. 프록시쉘과 프록시로그인 취약점을 악용해 MS 익스체인지 서버를 공격했다고 하네요. 이케아는 피싱 메일이 어떤 형식으로 발송되는지 ...
    Date2021.11.30 소식 By낄낄 Reply0 Views883 file
    Read More
  15. No Image

    인텔 그래픽 드라이버

    요즘 세상에 윈도우10을 x86으로 사용하는 곳이 있어 이래저래 골칫거리네요 시퓨가 i5-8500이고 칩셋이나 다른 건 드라이버를 잡았는데 그래픽은 드라이버를 구할수가 없네요 인텔에서도 공식적으로 드라이버 지원 하지 않는거 같고.. 외...
    Date2021.11.30 일반 By두리 Reply5 Views2609
    Read More
목록
Board Pagination Prev 1 ... 200 201 202 203 204 205 206 207 208 209 ... 570 Next
/ 570

최근 코멘트 30개
Mr.10%
11:56
린네
11:55
슈베아츠
11:53
허태재정
11:51
슈베아츠
11:50
/bin/bash
11:42
까마귀
11:40
까마귀
11:39
Blackbot
11:36
수중생물
11:35
마카
11:32
그림자
11:17
아무개
11:14
바람돌이
11:09
그림자
11:09
그림자
11:03
수중생물
10:58
霊夢
10:56
ExpBox
10:54
니코다이스키
10:47
파란화면
10:16
360Ghz
10:14
아엠푸
10:14
마카
10:09
센트레아
10:08
까마귀
10:05
딱풀
10:03
hjk9860
09:58
오버쿨럭커
09:57
야고
09:54

더함
MSI 코리아
AMD
한미마이크로닉스

공지사항        사이트 약관        개인정보취급방침       신고와 건의


기글하드웨어는 2006년 6월 28일에 개설된 컴퓨터, 하드웨어, 모바일, 스마트폰, 게임, 소프트웨어, 디지털 카메라 관련 뉴스와 정보, 사용기를 공유하는 커뮤니티 사이트입니다.
개인 정보 보호, 개인 및 단체의 권리 침해, 사이트 운영, 관리, 제휴와 광고 관련 문의는 이메일로 보내주세요. 관리자 이메일

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소