Skip to content

기글하드웨어기글하드웨어

인터넷 / 소프트웨어 : 윈도우즈, 리눅스, 기타 운영체제, 각종 어플리케이션, 프로그램, 소프트웨어, 인터넷, 인터넷 서비스에 대한 이야기, 소식, 테스트, 정보를 올리는 게시판입니다.

Extra Form
참고/링크 https://www.phoronix.com/scan.php?page=n...ile-System

웨스턴 디지털이 새로운 리눅스용 파일 시스템인 Zonefs를 개발했습니다. EXT4, Btfs, XFS, ZFS 같은 범용 파일 시스템이 아니라 특수한 용도의 파일 시스템입니다. 

 

SMR 하드디스크는 저장 밀도를 높이지만 성능과 안정성이 부족합니다. SSD도 사용하면 사용할수록 쓰기 속도나 내구성이 떨어지는 문제가 있습니다.

 

Zonefs는 하드디스크 LGA 공간을 여러 블럭으로 나누고, 각 블럭의 시작 부분부터 순서대로 데이터를 기록하도록 하며, 데이터를 마음대로 덮어 쓰지 못하게 합니다. 

 

이렇게 하면 SMR 하드디스크나 SSD에서 데이터를 기록하는 문제를 해결해, 더 이상 랜덤 데이터 기록에 관련된 문제가 사라집니다. 처음부터 순서대로 기록하니까요.

 

아직까지 리눅스 소스 코드에 제출한 zonefs 파일 시스템 코드는 1500줄에 불과합니다. 어쨌건 파일 시스템을 완전히 대체하는 게 아니라 특별한 파티션을 위한 파일 시스템입니다. 

 

Sb5756e82-2545-48b3-848e-c44575ed82a9.png

 



  • ?
    달가락 2019.12.27 08:24
    상당수의 데이터베이스에서 아랫단의 저장형식으로, 고전적인 b-tree 대신 lsm tree가 대세가 된지 오래입니다.

    B-tree는 “정렬이 잘 된” 형식 답게 새로운 데이터를 넣을 때, 일반적으로 썼던 자리를 읽어서 다시 쓰는 방식의 업데이트를 하게 됩니다. ram용량 대비 가격이 무지막지한 당시의 알고리즘 답게 ram은 그저 읽기 위주의 캐시로 사용되죠. 이런 탓에, 쓰기 성능에서 손해를 보는 경우가 많습니다. 쓰기 부하가 큰 최근의 데이터베이스 사용 형태를 생각해보면 꽤 큰 페널티입니다.
    Lsm 트리의 경우에는 램을 많이 쓰는 대신 디스크에 저장할 때는 이미 저장된 녀석을 직접 읽어 수정하는 대신, 별도의 스레드가 이미 저장된 놈과 새로 써질 놈을 결합(merge)하는 형태로(실제 디스크에 쓸 때는 이것도 일종의 구역화를 통한 sharding을 합니다.) 진행하기 때문에 쓰기 성능이 크게 개선되는 탓에, 다수개의 코어가 보편화되어 있어 병렬 처리에 부담이 없고, 용량 큰 데이터를 핸들링해야 하는 현재의 추세에 맞는 백엔드가 되었지요.

    원본 게시글에서도 언급된 내용 때문에 뻘글 같은 내용을 위에 달았는데요, 암튼 인접부위를 같이 갱신하는 탓에 업데이트 페널티가 큰 smr 하드디스크와, 이와 유사하게 셀 업데이트로 수명에 대한 페널티를 받는 ssd를 생각해보면 zonefs와 같이 구역화된 쓰기 구조를 파일시스템 단에서 제공함으로, 대용량 데이터를 다뤄야하는 데이텁이스를 구동할 파일시스템으로 쓰면 위의 두 페널티를 효과적으로 완화할 수 있을 듯 합니다. 일반적인 데스크탑이나 읽기 위주의 부하상황에서는 어울리지 않지만요.
  • profile
    쮸쀼쮸쀼 2019.12.27 10:51
    요즘은 아예 기록한 내용을 바꾸지 않고 뒤에 순서대로 계속 붙여나가기만 하는 방식도 많이 쓰는 것 같더라고요. 이벤트 소싱(Event Sourcing)이라던가.

    그나저나 이쪽도 참 복잡해요. TokuDB의 Fractal tree란 건 LSM tree랑 또 뭐가 다른지 헷갈리고. 이런 건 B-tree와 같은 기반 이론이 처음 나온 1970년대와는 달라진 컴퓨팅 환경이 반영되는 과정이겠죠?
  • ?
    달가락 2019.12.27 13:26
    제가 대규모 서비스에 딱히 조예가 있는게 아니라 길게 붙이지는 못합니다만, 요새 사용되는 데이터 억세스 스타일에 빅데이터를 위한 접근이 강조되다보니, 말씀하신 append-only로 해결하는 경우가 많아진 것 같습니다. 옛날에는 한번 생성하면 거의 수정하지 않는 사전 용도로 trie같은걸 구현할 때 주로 썼지만요. 저장장치도 그만큼 저렴해진데다, 자주 고쳐져야할 부분은 in-memory로 해결하기 쉽게 많이들 만들어 놓았구요.

    저장용 자료구조는 해도해도 어렵긴 합니다. 음... 색인부의 자료구조는 사실 두 개가 크게 다를 바 없거든요. 프랙탈 트리가 등장하던 시기(대략 2000년 중반쯤이던가...)는 전반적으로 cache-oblivious 알고리즘 개발이 유행하던때고, 거기서 줄창 고민하던 현대적인 메모리 모델은 다른 자료구조에도 많은 영향을 끼쳤으니 뭐 저같이 곁눈으로 보는 사람한테는 뭐가 더 우선한 것인지 어느 것이 더 이론상으로 좋은지 알 길이 없지요. 게다가 구현방식과 품질에 따라서 이론상 비슷한 애들을 씹어먹는 경우도 있어 순수한 본체 알고리즘만으로 우위를 비교하기 어려운 분야가 아닐까 생각됩니다.

    개인적으로 LSM tree의 가장 큰 의의는 다른 것보다 multi-level tree 개념을 현대적인 컴퓨팅 장치와 맞춰 균형있게 적용한 것이라고 생각합니다. 사용되는 타겟이 어디냐에 따라, 주어진 제약상황에 따라 다르기는 하지만, 응용 단계에서 본다면 읽기 위주에 간헐적인 쓰기라면 여전히 프랙탈 트리같은 b-tree류가 강세일 것이고, 쓰기가 훨씬 많은 비중을 차지하고 동일 데이터의 읽기 빈도가 시간의 흐름에 따라 줄어드는 상당 수의 어플리케이션에서는 lsm 트리가 적합하다고 여겨집니다.
  • profile
    title: 폭8인민에어      뿅! 2019.12.27 09:24
    완전 테이프처럼 처음부터 쓰는것 같네요
  • profile
    Retribute      안녕하세요. 행복한 하루 되세요. https://blog.naver.com/wsts5336     2019.12.27 09:32
    BtrFS는 좀 써보려고 알아봤는데 이미 시장에서 밀리고 밀려서 지원하는 곳 찾기가 드물었는데 이건 좀 잘되면 좋을 것 같긴합니다.
  • ?
    달가락 2019.12.27 10:48
    Btrfs가 업무용 주류시장으로 올라오기에는 아직 덜 익었지요. 시놀로지가 자사 nas의 기능으로 제공하긴하지만... 듣기로는 이것저것 손 댄게 있다고만 들었습니다.

    raid를 걷어차기에는 아직 너무 변덕스럽고 raid 위에 얹는 순간 유연성이란 장점이 싹 날아가버린다는게 문제인 듯 합니다.
  • profile
    Retribute      안녕하세요. 행복한 하루 되세요. https://blog.naver.com/wsts5336     2019.12.27 11:00
    시놀로지 기본 권장으로 디스크 포맷시 정해지는 파일시스템이 SHR인데 이게 BtrFS 기반으로 커스텀한 것으로 알고있습니다.

    레드햇도 RHEL 7 이후론 공식적으로 권장을 안하는 것으로 알고있고.. 참 계륵같다 생각해요

    - 시놀로지 NAS 켜서 확인해보니 SHR은 시놀로지 레이드 기술이고 기본 권장 파일시스템이 btrfs네요

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.


  1. MS 엣지 안드로이드 버전, 구형/신형 엣지의 동기화 기능 추가

    마이크로소프트는 1월 15일에 크로미움 기반의 엣지 브라우저를 발표합니다. 안드로이드 버전의 경우 베타 버전의 엣지와 기존 EdgeHTML 기반의 엣지 중 어느 쪽과 동기화할지를 고를 수 있습니다.
    Date2020.01.01 소식 By낄낄 Reply0 Views995 file
    Read More
  2. No Image

    윈도우 7 ESU, 계속해서 보안 업데이트 제공

    윈도우 7은 지원 기간이 지났지만, 윈도우 7 ESU (Extended Security Updates)의 경우 마이크로소프트가 계속해서 보안 업데이트를 제공합니다. 2020년 1월 14일 이후로도 3년 동안 MSRC (Microsoft Security Response Center)에서 정의한...
    Date2020.01.01 소식 By낄낄 Reply0 Views791
    Read More
  3. No Image

    비트메인과 가나안이 TSMC 5nm로 채굴 칩을 생산

    비트메인이 TSMC 5nm 공정으로 채굴용 칩을 테스트하는데 성공했고, 가나안도 2020년 1분기에 5nm 칩을 출시할 거라고 합니다. 비트메인의 5nm 칩은 성공적으로 테스트를 마쳤으며, TSMC의 5nm 테스트 칩 평균 수율은 80%에 도달했습니다....
    Date2019.12.31 소식 By낄낄 Reply3 Views889
    Read More
  4. QTS에서 이제 wma 재생이 가능하네요.

    모아둔 CD를 왜 그랬는지 wma 포멧으로 전부 리핑해 둔 것이 있습니다. 대충 이삼일 걸린거 같아요.   DSM 에서는 별 무리없이 재생했는데 QTS 에서는 아에 재생을 못해서 실망한 적이 있습니다. 1년은 확실히 넘었고 그 사이에 QTS 버전...
    Date2019.12.30 일반 Bytitle: 오타쿠아라 Reply6 Views649 file
    Read More
  5. No Image

    해외에서 공유기 자체셋팅으로 한국 ip 인것처럼 속여서 국내겜이 가능하게 설정 가능한가요?

    공유기는 ASUS RAPTURE GT-AC2900 사용중인데요 이공유기에 한국 IP 설정을해서 로스트아크나 뭐그런 막혀있는 해외게임 국내처럼 VPN 안쓰고 인식가능하게 게임 플레이 하는방법 아시는분 계실까요?
    Date2019.12.30 질문 ByDewiAngel Reply17 Views3475
    Read More
  6. 카스퍼스키 질렀네요.

      한동안 아예 무백신으로 지내다가, 한번 포맷하고 디펜더를 켰는데 디펜더 종특인 자원소모가 조금 느껴져서 이베이에서 5불 주고 샀네요. 1년 5불이면 괜찮다 싶어서 결제했는데 디펜더보다 좋습니다. AVTEST.ORG에서도 확인해봤는데 ...
    Date2019.12.30 일반 Bytitle: 명사수RGB뽕 Reply11 Views1360 file
    Read More
  7. CrystalDiskMark와 CrystalDiskInfo도 이젠 ARM을 지원하네요

        정확히는 윈도우가 설치된 ARM64와 ARM32지만요   6.X 버전대 쓰다가 이번에 업데이트하면서 ~A32와 ~A64가 생겼길래 뭔가해서 ReadMe를 읽어봤더니 추가가 되어있더군요   스냅드래곤 8CX를 위한 지원 확장같은데... UX 구성이 어떨...
    Date2019.12.29 일반 ByRetribute Reply2 Views1160 file
    Read More
  8. No Image

    공유기에 추가 공유기를 물리는것 질문입니다

    지금 넷기어 나이트 호크 RAX80을 메인공유기로 쓰는중인데 집이 구조가 복잡해서 제방쪽은 와이파이가 안잡히는 상황입니다   벽에 이더넷 매설이 안되어 있어서 지금까지 파워라인으로 인터넷을 쓰고있었는데요 집주인분께서 이번에 다...
    Date2019.12.28 질문 By착한생각 Reply14 Views1332
    Read More
  9. No Image

    공유기 포트포워딩 질문

    현재 SKB를 사용중이며, 거실에는 DVW-2000N 이라는 공유기가 설치되어있습니다.   제 방에 컴퓨터를 두 대 쓸려고 하는데, 방 하나마다 벽단자에 랜선이 하나밖에 없더라구요..    그래서 제 방에 공유기를 설치해야할 것 같은데, 그럴 ...
    Date2019.12.28 질문 ByAddition Reply3 Views908
    Read More
  10. 웨스턴 디지털의 새로운 파일 시스템, Zonefs

    웨스턴 디지털이 새로운 리눅스용 파일 시스템인 Zonefs를 개발했습니다. EXT4, Btfs, XFS, ZFS 같은 범용 파일 시스템이 아니라 특수한 용도의 파일 시스템입니다. SMR 하드디스크는 저장 밀도를 높이지만 성능과 안정성이 부족합니다. S...
    Date2019.12.27 소식 By낄낄 Reply7 Views1594 file
    Read More
  11. No Image

    윈도우 10도 구독형으로?

    마이크로소프트 365 비즈니스는 오피스 365와 윈도우 10을 비즈니스 고객들에게 제공하는 유료 구독형 서비스입니다. 그리고 이 유료 구독 서비스의 일반 소비자 버전이 나온다는 소문이 있습니다. 일반 소비자용 윈도우도 구독형 요금제...
    Date2019.12.27 소식 By낄낄 Reply27 Views2195
    Read More
  12. 하츠네 미쿠 NT, 2020년 여름에 출시

    크립톤 퓨처 미디어 주식회사는 음성 합성 소프트웨어, 하츠네 미쿠의 새로운 버전인 하츠네 미쿠 NT(뉴타입)의 공식 사이트를 공개했습니다. https://sonicwire.com/mikunt 내년 3월 중순에 프로토타입 버전이 나오고 8월 하순에는 메이...
    Date2019.12.26 소식 By낄낄 Reply10 Views1542 file
    Read More
  13. No Image

    이더리움 1과 이더리움 2의 병합에 대한 제안

    이더리움의 개발자인 비탈릭 부테린은 이더리움 2.0(Eth2)로 전환하면서 기존의 이더리움을 Eth2의 일부로 넣는 방법을 제안했습니다. 이더리움은 2020년 초부터 버전 2.0이 나오는데, Eth2는 샤딩 구조를 구현해 여러 블록체인을 병렬 결...
    Date2019.12.26 소식 By낄낄 Reply0 Views655
    Read More
  14. 왜 이런 걸 샀는지 모르겠습니다 : 3DMark

        스팀 세일 시즌이길래 둘러보다가 정신을 차리고 보니 게임이 아니라 이상한 소프트웨어를 받아버렸습니다. 그래서 이걸 이제 어디에 쓰면 되는거죠? 으헝헝 스팀 나빠요.         3DMark :   아무튼 벤치마크 소프트웨어를 샀으니 ...
    Date2019.12.25 일반 Bydmsdudwjs4 Reply13 Views1930 file
    Read More
  15. No Image

    2019년 최악의 비밀번호 50위

    올해도 별로 다른 건 없습니다. #49 biteme #48 121212 #47 shadow #46 nothing #45 bailey #44 passw0rd #43 zxcvbnm #42 987654321 #41 aa123456 #40 secret #39 !@#$%^&* #38 letmein #37 charlie #36 football #35 freedom #34 do...
    Date2019.12.24 소식 By낄낄 Reply16 Views1376
    Read More
목록
Board Pagination Prev 1 ... 375 376 377 378 379 380 381 382 383 384 ... 577 Next
/ 577

최근 코멘트 30개
TundraMC
13:20
360Ghz
13:19
캐츄미
13:19
카토메구미
13:18
그림자
13:16
마초코
13:14
캐츄미
13:12
캐츄미
13:11
하드매냐
13:07
babozone
13:05
360Ghz
13:03
360Ghz
13:03
그림자
13:02
그림자
13:00
자타공인AMD_유저
12:58
BEE3E3
12:55
dmy01
12:55
360Ghz
12:52
고자되기
12:25
고자되기
12:19
허태재정
12:12
허태재정
12:11
TundraMC
12:00
탐린
11:59
고자되기
11:54
프로리뷰어
11:47
증강가상
11:45
툴라
11:42
360Ghz
11:14
허태재정
11:08

더함
AMD
한미마이크로닉스
MSI 코리아

공지사항        사이트 약관        개인정보취급방침       신고와 건의


기글하드웨어는 2006년 6월 28일에 개설된 컴퓨터, 하드웨어, 모바일, 스마트폰, 게임, 소프트웨어, 디지털 카메라 관련 뉴스와 정보, 사용기를 공유하는 커뮤니티 사이트입니다.
개인 정보 보호, 개인 및 단체의 권리 침해, 사이트 운영, 관리, 제휴와 광고 관련 문의는 이메일로 보내주세요. 관리자 이메일

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소