Skip to content

기글하드웨어기글하드웨어

인터넷 / 소프트웨어 : 윈도우즈, 리눅스, 기타 운영체제, 각종 어플리케이션, 프로그램, 소프트웨어, 인터넷, 인터넷 서비스에 대한 이야기, 소식, 테스트, 정보를 올리는 게시판입니다.

Extra Form
참고/링크 https://www.phoronix.com/scan.php?page=n...ile-System

웨스턴 디지털이 새로운 리눅스용 파일 시스템인 Zonefs를 개발했습니다. EXT4, Btfs, XFS, ZFS 같은 범용 파일 시스템이 아니라 특수한 용도의 파일 시스템입니다. 

 

SMR 하드디스크는 저장 밀도를 높이지만 성능과 안정성이 부족합니다. SSD도 사용하면 사용할수록 쓰기 속도나 내구성이 떨어지는 문제가 있습니다.

 

Zonefs는 하드디스크 LGA 공간을 여러 블럭으로 나누고, 각 블럭의 시작 부분부터 순서대로 데이터를 기록하도록 하며, 데이터를 마음대로 덮어 쓰지 못하게 합니다. 

 

이렇게 하면 SMR 하드디스크나 SSD에서 데이터를 기록하는 문제를 해결해, 더 이상 랜덤 데이터 기록에 관련된 문제가 사라집니다. 처음부터 순서대로 기록하니까요.

 

아직까지 리눅스 소스 코드에 제출한 zonefs 파일 시스템 코드는 1500줄에 불과합니다. 어쨌건 파일 시스템을 완전히 대체하는 게 아니라 특별한 파티션을 위한 파일 시스템입니다. 

 

Sb5756e82-2545-48b3-848e-c44575ed82a9.png

 



  • ?
    달가락 2019.12.27 08:24
    상당수의 데이터베이스에서 아랫단의 저장형식으로, 고전적인 b-tree 대신 lsm tree가 대세가 된지 오래입니다.

    B-tree는 “정렬이 잘 된” 형식 답게 새로운 데이터를 넣을 때, 일반적으로 썼던 자리를 읽어서 다시 쓰는 방식의 업데이트를 하게 됩니다. ram용량 대비 가격이 무지막지한 당시의 알고리즘 답게 ram은 그저 읽기 위주의 캐시로 사용되죠. 이런 탓에, 쓰기 성능에서 손해를 보는 경우가 많습니다. 쓰기 부하가 큰 최근의 데이터베이스 사용 형태를 생각해보면 꽤 큰 페널티입니다.
    Lsm 트리의 경우에는 램을 많이 쓰는 대신 디스크에 저장할 때는 이미 저장된 녀석을 직접 읽어 수정하는 대신, 별도의 스레드가 이미 저장된 놈과 새로 써질 놈을 결합(merge)하는 형태로(실제 디스크에 쓸 때는 이것도 일종의 구역화를 통한 sharding을 합니다.) 진행하기 때문에 쓰기 성능이 크게 개선되는 탓에, 다수개의 코어가 보편화되어 있어 병렬 처리에 부담이 없고, 용량 큰 데이터를 핸들링해야 하는 현재의 추세에 맞는 백엔드가 되었지요.

    원본 게시글에서도 언급된 내용 때문에 뻘글 같은 내용을 위에 달았는데요, 암튼 인접부위를 같이 갱신하는 탓에 업데이트 페널티가 큰 smr 하드디스크와, 이와 유사하게 셀 업데이트로 수명에 대한 페널티를 받는 ssd를 생각해보면 zonefs와 같이 구역화된 쓰기 구조를 파일시스템 단에서 제공함으로, 대용량 데이터를 다뤄야하는 데이텁이스를 구동할 파일시스템으로 쓰면 위의 두 페널티를 효과적으로 완화할 수 있을 듯 합니다. 일반적인 데스크탑이나 읽기 위주의 부하상황에서는 어울리지 않지만요.
  • profile
    쮸쀼쮸쀼 2019.12.27 10:51
    요즘은 아예 기록한 내용을 바꾸지 않고 뒤에 순서대로 계속 붙여나가기만 하는 방식도 많이 쓰는 것 같더라고요. 이벤트 소싱(Event Sourcing)이라던가.

    그나저나 이쪽도 참 복잡해요. TokuDB의 Fractal tree란 건 LSM tree랑 또 뭐가 다른지 헷갈리고. 이런 건 B-tree와 같은 기반 이론이 처음 나온 1970년대와는 달라진 컴퓨팅 환경이 반영되는 과정이겠죠?
  • ?
    달가락 2019.12.27 13:26
    제가 대규모 서비스에 딱히 조예가 있는게 아니라 길게 붙이지는 못합니다만, 요새 사용되는 데이터 억세스 스타일에 빅데이터를 위한 접근이 강조되다보니, 말씀하신 append-only로 해결하는 경우가 많아진 것 같습니다. 옛날에는 한번 생성하면 거의 수정하지 않는 사전 용도로 trie같은걸 구현할 때 주로 썼지만요. 저장장치도 그만큼 저렴해진데다, 자주 고쳐져야할 부분은 in-memory로 해결하기 쉽게 많이들 만들어 놓았구요.

    저장용 자료구조는 해도해도 어렵긴 합니다. 음... 색인부의 자료구조는 사실 두 개가 크게 다를 바 없거든요. 프랙탈 트리가 등장하던 시기(대략 2000년 중반쯤이던가...)는 전반적으로 cache-oblivious 알고리즘 개발이 유행하던때고, 거기서 줄창 고민하던 현대적인 메모리 모델은 다른 자료구조에도 많은 영향을 끼쳤으니 뭐 저같이 곁눈으로 보는 사람한테는 뭐가 더 우선한 것인지 어느 것이 더 이론상으로 좋은지 알 길이 없지요. 게다가 구현방식과 품질에 따라서 이론상 비슷한 애들을 씹어먹는 경우도 있어 순수한 본체 알고리즘만으로 우위를 비교하기 어려운 분야가 아닐까 생각됩니다.

    개인적으로 LSM tree의 가장 큰 의의는 다른 것보다 multi-level tree 개념을 현대적인 컴퓨팅 장치와 맞춰 균형있게 적용한 것이라고 생각합니다. 사용되는 타겟이 어디냐에 따라, 주어진 제약상황에 따라 다르기는 하지만, 응용 단계에서 본다면 읽기 위주에 간헐적인 쓰기라면 여전히 프랙탈 트리같은 b-tree류가 강세일 것이고, 쓰기가 훨씬 많은 비중을 차지하고 동일 데이터의 읽기 빈도가 시간의 흐름에 따라 줄어드는 상당 수의 어플리케이션에서는 lsm 트리가 적합하다고 여겨집니다.
  • profile
    title: 폭8인민에어      뿅! 2019.12.27 09:24
    완전 테이프처럼 처음부터 쓰는것 같네요
  • profile
    Retribute      안녕하세요. 행복한 하루 되세요. https://blog.naver.com/wsts5336     2019.12.27 09:32
    BtrFS는 좀 써보려고 알아봤는데 이미 시장에서 밀리고 밀려서 지원하는 곳 찾기가 드물었는데 이건 좀 잘되면 좋을 것 같긴합니다.
  • ?
    달가락 2019.12.27 10:48
    Btrfs가 업무용 주류시장으로 올라오기에는 아직 덜 익었지요. 시놀로지가 자사 nas의 기능으로 제공하긴하지만... 듣기로는 이것저것 손 댄게 있다고만 들었습니다.

    raid를 걷어차기에는 아직 너무 변덕스럽고 raid 위에 얹는 순간 유연성이란 장점이 싹 날아가버린다는게 문제인 듯 합니다.
  • profile
    Retribute      안녕하세요. 행복한 하루 되세요. https://blog.naver.com/wsts5336     2019.12.27 11:00
    시놀로지 기본 권장으로 디스크 포맷시 정해지는 파일시스템이 SHR인데 이게 BtrFS 기반으로 커스텀한 것으로 알고있습니다.

    레드햇도 RHEL 7 이후론 공식적으로 권장을 안하는 것으로 알고있고.. 참 계륵같다 생각해요

    - 시놀로지 NAS 켜서 확인해보니 SHR은 시놀로지 레이드 기술이고 기본 권장 파일시스템이 btrfs네요

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.


  1. No Image

    애플, AI 기반 광고 기술 테스트

    애플이 일부 광고주와 함께 AI 기술을 테스트 중이라고 합니다. 광고주의 예산, 목표 전환을 위한 비용, 원하는 타겟, 지역 등을 지정하면 애플 알고리즘이 가장 효과적인 광고 배치를 자동으로 지정하는 식입니다.
    Date2024.03.14 소식 By낄낄 Reply0 Views398
    Read More
  2. No Image

    NVIDIA의 AI 훈련해 저작물을 무단 사용했다며 작가들이 고소

    소설가를 비롯한 작가들이 NVIDIA를 고소했습니다. 자신의 글이 NVIDIA의 대규모 언어 모델 구축 프레임워크인 NeMo의 훈련에 사용됐다는 이유에서입니다. NeMo는 사용자가 LLM을 빠르게 구축할 수 있게 해주는 프레임워크로, 미리 학습된...
    Date2024.03.14 소식 By낄낄 Reply0 Views527
    Read More
  3. Windows 10 22H2 등 2024년 3월 누적 업데이트 배포

    [소식]   KB5035845 업데이트 설치 시 빌드 번호가 19044/19045.4170 이 됩니다. 방금 올렸고 아직까지 아무런 이상은 없네요.
    Date2024.03.13 소식 Bytitle: 컴맹임시닉네임 Reply4 Views761 file
    Read More
  4. No Image

    스테이지엑스, 3.5 GHz 망 로밍 대가 대폭 인하 요구

    [소식] 관련 글 1 - "스테이지엑스 28Ghz 대역 4301억원에 낙찰" https://gigglehd.com/gg/soft/15517417 관련 글 2 - "스테이지엑스, 향후 사업 계획 발표" https://gigglehd.com/gg/soft/15545814 [단독] 통신시장 '메기'라더니…정부 '...
    Date2024.03.13 소식 Bytitle: 컴맹임시닉네임 Reply14 Views625
    Read More
  5. 윈도우10 LTSC 21H2에서 스토어 이용하기

            https://drive.google.com/file/d/1WCRJpr0qVyC5sWO0OYIVzAFkJgCHjWGl/view?usp=drive_link   먼저 이링크에서 파일을 받습니다         그리고 나서 이렇게 하시면 됩니다           그렇게 하고 좀 기다리면 자기가 스토어를 알...
    Date2024.03.13 일반 By고자되기 Reply5 Views532 file
    Read More
  6. Apple, iOS 15.8.2 업데이트 배포

    [소식]     iPhone 6s/7 시리즈 등이 업데이트 대상입니다. 공개된 CVE 항목 대응은 없습니다.
    Date2024.03.13 소식 Bytitle: 컴맹임시닉네임 Reply0 Views689 file
    Read More
  7. No Image

    해외 플랫폼 관련 소비자 보호 대책 발표

    정부는 오늘(13일) 경제부총리 주재 ‘비상경제장관회의’를 열고, 이 같은 내용을 담은 ‘해외 온라인 플랫폼 관련 소비자 보호대책’을 발표했습니다. 정부는 우선 “해외 온라인 플랫폼에 대해 국내법이 차별없이 집행될 수 있도록 관리를 ...
    Date2024.03.13 소식 Bytitle: 폭8책읽는달팽 Reply6 Views501
    Read More
  8. No Image

    IRS, Direct Files 를 13개주 이상으로 늘려

    한국과는 100% 무관한건데, IRS가 개발한 세금처리 시스템인 Direct Files가 13개주에서 시범으로 운영됩니다.   아래는 해당 주와 더불어, 이 Direct Files를 사용할수 있는 사람들입니다.   거 홈텍스 연말정산이 위대해 보이는 군요......
    Date2024.03.13 소식 Bytitle: 폭8책읽는달팽 Reply0 Views347
    Read More
  9. AIDA64, 다크 모드, RTX 40 슈퍼, 12VHPWR 모니터링 지원

    AIDA64의 최신 버전에 추가된 기능들입니다. 우선 다크 모드가 추가됐고요. 지포스 RTX 40 슈퍼 시리즈와 라데온 RX 7600 XT도 지원합니다. 또 유료 버전에서는 12VHPWR 모니터링 기능을 쓸 수 있습니다. 하지만 GPU-Z나 HWiNFO 같은 무료...
    Date2024.03.13 소식 By낄낄 Reply1 Views289 file
    Read More
  10. 구글, 애플, 모질라가 Speedometer 3.0 브라우저 벤치마크 공개

      Speedometer는 오랫동안 구글에서 선호하는 벤치마크였습니다. 구글은 이전에 자바스크립트 성능 비교시 Speedometer가 "실제 상황을 가장 잘 반영한다"고 언급한 바 있습니다. 이제 Speedometer 3.0이 출시되었습니다.   Speedometer ...
    Date2024.03.12 소식 ByNPU Reply1 Views692 file
    Read More
  11. 엔비디아의 지포스 GTX(16) + RTX(20) GPU, 비공식적으로 'Resizeable-BAR'를 지원함

    ▶ 비공식 UEFI 드라이버(NVStrapsReBar), 엔비디아의 지포스 GTX(16) + RTX(20) GPU에서 'Resizeable-BAR'를 지원함 - Resizable-Base Address Register(BAR) : CPU가 'GPU 메모리'의 모든 영역에 접근이 가능하게 함으로써 병목 현상 해...
    Date2024.03.11 소식 By블레이더영혼 Reply1 Views778 file
    Read More
  12. VirtualBox와 KDE 상당히 안정적으로 작동하네요

      VirtualBox에 KDE 네온 리눅스 설치해서 사용 중인데, 상당히 안정적이네요. 10년전만해도 VirtualBox는 심심하면 꺼지고, 프리징 걸리고 KDE는 GNOME보다 불안정해서 심심하면 크래쉬 뜨고 그랬는데 지금은 완전히 달라졌군요!    
    Date2024.03.11 일반 By부녀자 Reply9 Views720 file
    Read More
  13. OMV 7, 3월 3일에 정식판 배포가 시작되었습니다.

          지난 3월 3일부터 OMV 7 정식판 배포가 시작되었습니다. OMV 6의 web gui에서는 별도로 알림을 보내지 않으니 참고하세요. 주요 변경점 중 사용자가 가장 먼저 신경써야 할 것은 소프트웨어 레이드 관리 기능이 기본 제공에서 별개...
    Date2024.03.11 소식 Bymilsa Reply7 Views893 file
    Read More
  14. No Image

    액티비전 블리자드의 전 CEO 바비 코틱이 틱톡 인수를 원하고 있는 것으로 알려져

    지난해 말 사임한 액티비전 블리자드의 전 CEO 바비 코틱(Bobby Kotick)은 미국에서 틱톡 앱을 금지하거나 판매를 강제할 수 있는 새로운 법안이 발의됨에 따라 틱톡 인수에 관심이 있는 것으로 보인다.  월스트리트저널(WSJ)의 보도에 따...
    Date2024.03.11 소식 Bytitle: AI아무개 Reply2 Views766
    Read More
  15. No Image

    러시아 쪽 해킹팀이 마이크로소프트를 사이버 공격

    러시아 정부가 배후에 있다고 알려진 해킹팀인 미드나이트 블리자드가 마이크로소프트를 상대로 사이버 공격을 진행했습니다. 마이크로소프트의 회사 이메일 시스템에서 유출된 정보를 사용해 액세스를 시도하고, 소스 코드 저장소나 내부...
    Date2024.03.10 소식 By낄낄 Reply0 Views639
    Read More
목록
Board Pagination Prev 1 ... 5 6 7 8 9 10 11 12 13 14 ... 578 Next
/ 578

최근 코멘트 30개
유입입니다
22:39
린네
22:39
린네
22:38
카토메구미
22:23
아이들링
22:22
아이들링
22:22
아이들링
22:20
이게뭘까
22:14
白夜2ndT
22:08
K_mount
22:03
투명드래곤
21:57
투명드래곤
21:56
탐린
21:51
까마귀
21:44
까마귀
21:44
로엔그람
21:41
카에데
21:32
Colorful
21:26
린네
21:22
린네
21:19
그림자
21:18
마초코
21:17
카에데
21:17
린네
21:17
카에데
21:12
렉사
21:11
렉사
21:10
FactCore
21:10
FactCore
21:10
린네
21:09

AMD
한미마이크로닉스
더함
MSI 코리아

공지사항        사이트 약관        개인정보취급방침       신고와 건의


기글하드웨어는 2006년 6월 28일에 개설된 컴퓨터, 하드웨어, 모바일, 스마트폰, 게임, 소프트웨어, 디지털 카메라 관련 뉴스와 정보, 사용기를 공유하는 커뮤니티 사이트입니다.
개인 정보 보호, 개인 및 단체의 권리 침해, 사이트 운영, 관리, 제휴와 광고 관련 문의는 이메일로 보내주세요. 관리자 이메일

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소