Skip to content

기글하드웨어기글하드웨어

컴퓨터 / 하드웨어 : 컴퓨터와 하드웨어, 주변기기에 관련된 이야기, 소식, 테스트, 정보를 올리는 게시판입니다. 2016년 7월 이전의 글은 다음 링크를 참조하세요. 구 하드웨어 뉴스 / 구 디지털 뉴스 / 구 하드웨어 포럼 / 구 뉴스 리포트 / 구 특집과 정보 / 구 스페셜 게시판 바로가기

Extra Form
참고/링크 https://pc.watch.impress.co.jp/docs/colu...02957.html

CPU 컨퍼런스에서 AMD가 기조 연설

 

1.jpg

 

매년 8월에 반도체 칩 컨퍼런스 Hot Chips가 열립니다. 최첨단 프로세서가 선보이는 장소로, 2019년엔 미국 스탠포드 대학의 The Memorial Auditorium 강당에서 8월 18일부터 20일까지 열렸습니다. 첫날 기조 강연은 AMD 리사 수 CEO가 진행했으며, 고성능 프로세서의 세션을 비롯해 14개의 세션이 열렸습니다.

 

리사 수는 고성능 프로세서를 비롯한 현재의 반도체 기술 상황을 설명하고, 앞으로의 고성능 시스템에 필요한 요구 사항을 전망했습니다. 리사 수는 2017년 12월에 미국 샌프란시스코에서 개최된 반도체 학회, IEDM (IEEE International Electron Devices Meeting) 이후 같은 주제를 이야기했으나, 이번에는 실제 7nm 공정을 사용한 제품이 나오면서 구체적인 제품과 시스템을 예로 들어 설명했습니다. 

 

2.jpg

 

 

그 핵심은 이렇습니다. 지난 10년 간 하이엔드 CPU는 2.5년마다 2배, 하이엔드 GPU는 2.25년마다 2배씩 성능이 향상됐습니다.

 

3.jpg

 

이는 제조 공정 기술의 진보와 더 커진 다이, 마이크로 아키텍처의 개선, 시스템 온 칩 통합 덕분이었습니다.

 

4.jpg

 

그러나 무어의 법칙이 둔화되고,

 

5.jpg

 

칩 제조 비용이 급상승하며, 

 

6.jpg

 

다이 크기가 늘어나고 전력을 감당하기 힘들어지면서 새로운 접근이 필요해졌습니다.

 

7.jpg

 

 

반도체 관련 학회에선 그 다음에 3D 패키징을 다루지만, 프로세스 위주인 핫 칩스에선 컴퓨팅과 인터커넥트에 초점을 맞췄습니다. 실리콘 칩 설계, 시스템 설계, 소프트웨어 레벨 최적화를 이야기하는군요.

 

8.jpg

 

AMD는 마이크로 아키텍처의 향상으로 IPC(Instruction-per-Clock)를 끌어 올리고,

 

9.jpg

 

칩 렛을 도입해 모듈형 설계를 사용해 CPU 성능 향상, 그리고 하드웨어 가속이 중요하다고 설명합니다.

 

10.jpg

 

 

모듈 설계와 아키텍처 향상 덕분에 에픽의 성능이 크게 올랐습니다. 

 

11.jpg

 

특정 분야에 특화된 하드웨어 전용 가속을 효율적으로 수행하려면 CPU, FPGA, 세미 커스텀 FPGA가 효과적입니다. HPC(High Performance Computing)과 머신 러닝에선 CPU만으로는 필요한 컴퓨팅 성능을 제공하지 못합니다. 그래서 이런 가속 장치를 어떻게 통합하는지가 중요합니다.

 

12.jpg

 

특정 애플리케이션에선 GPU나 세미 커스텀 SoC, FPGA의 효율이 좋습니다.

 

13.jpg

 

AMD는 CPU와 GPU를 PCI-e로 연결하고, GPU는 인피니티 패브릭으로 연결합니다. AMD의 서버용 CPU인 에픽은 4개의 GPU를 직접 연결할 수 있고, CPU 소켓의 고속 I/O 레인이 많습니다. 이로서 CPU+GPU를 통한 워크로드를 가속합니다. 앞으로는 칩 사이의 인터커넥트와 메모리 광대역이 중요하다고 봅니다.

 

14.jpg

 

또 소프트웨어 라이브러리를 제공해 소프트웨어 확장을 제공합니다. 

 

15.jpg

 

상당히 많은 워크로드가 CPU+GPU 조합을 통해 효과적으로 수행됩니다. 

 

16.jpg

 

CPU와 GPU를 조합한 작업.

 

17.jpg

 

CPU와 GPU를 모두 운용하는 대표적인 시스템이 미국에서 가장 강력한 슈퍼 컴퓨터인 프론티어입니다. 오크릿지 국립 연구소의 차세대 슈퍼 컴퓨터지요.

 

18.jpg

 

프론티어는 1엑사플로스 이상의 성능을 냅니다. 2021년부터 가동할 예정.

 

19.jpg

 

모두가 다 아는 그 분. 리사 수(President and Chief Executive Officer, AMD)

 


3종류의 다이로 구성된 AMD 젠 2 아키텍처

 

범용 CPU 세션에서는 AMD, Arm IBM의 3개 회사가 발표했습니다. 인텔은 메인스트림 CPU 코어를 다루지 않았으나 4건의 발표를 했습니다. 

 

AMD는 7nm 공정의 신형 CPU 코어인 젠 2의 상세 정보를 공개했습니다. 공정 말고 칩으로서의 가장 큰 특징은 CPU와 I/O를 다른 다이로 나눈 모듈형 설계입니다. 젠 계열 CPU는 4개의 CPU 코어와 L3 캐시를 합친 클러스터 CCX(Core Complex)로 이루어졌습니다. 7nm의 젠 2에선 2개의 CCX로 8개의 CPU 코어를 한개의 다이인 CCD로 모았습니다. 7nm CCD의 다이 크기는 74제곱mm, 트랜지스터 수는 38억개입니다. 

 

 

20.jpg

 

 

I/O 칩은 클라이언트와 서버의 2 종류가 있습니다. 클라이언트용 젠 2는 마티스, 클라이언트용 I/O 다이는 clOD(Client I/O Die)입니다. cIOD는 최대 2개의 CCD를 연결하며 최대 8코어 CPU, 듀얼채널 DDR4 메모리 인터페이스, PCIe 인터페이스 32레인이 있습니다. 핫 칩스에선 I/O 다이의 스펙이 공개됐는데, 트랜지스터 수는 20.9억개, 다이 크기 125제곱mm입니다. 제조 공정은 14nm로 알려져 있었으나 실제로는 거기서 파생된 12nm 프로세스입니다. 

 

서버용 젠 2인 로마(Rome)은 서버용 I/O 다이인 sIOD(Server I/O Die)를 씁니다. 트랜지스터 수가 83.4억개, 다이 크기는 416제곱mm입니다. sIOD의 트랜지스터 수가 매우 많은 이유는 버퍼 SRAM의 탑재 때문이라 추측됩니다. sIOD에는 8채널 DDR4와 128 레인 PCIe 4.0이 있습니다. 제조 공정은 clOD와 마찬가지로 12nm입니다. 

 

21.jpg

 

클라이언트용 라이젠

 

23.jpg

 

7nmn 에픽. 다이 면적을 다 합치면 1000제곱mm지만, 비싼 7nm는 CPU 코어에만 사용해 수율을 높였습니다.

 

24.jpg

 

각 CPU 패키지에 8개의 CCD, 2소켓이니 128개 CPU 코어가 나오는 에픽의 2소켓 시스템. 소켓 사이는 시리얼 버스인 인피니티 패브릭으로 연결합니다.

 

AMD는 모듈러 디자인을 통해 CCD, cIOD, sIOD의 3가지 다이를 만들어 메인스트림부터 하이엔드 서버까지 다양한 라인업을 커버합니다. 또 클라이언트용과 서버용 CPU 모두를 최신 공정으로 거의 동시에 생산해 냈습니다.

 

25.jpg

 

David Suggs(CPU Microarchitect, Fellow at AMD)

 

26.jpg

 

젠 2의 성능 혁신

 

27.jpg

 

젠 2 프론트 엔드

 

28.jpg

 

젠 2 정수 연산 코어

 

29.jpg

 

젠 2의 부동소수점 연산 파이프

 

30.jpg

 

젠 2 로드/스토어와 메모리

 

31.jpg

 

젠 2 마이크로 아키텍처

 


Arm의 서버용 CPU, Neoverse N1


저전력 CPU IP를 다루는 Arm은 서버용 CPU인 네오버스(Neoverse)를 소개했습니다. Arm은 지금까지 서버용 CPU 코어를 써드파티에게 맡겼으나 결과적으로 잘 되지 않았습니다. 그래서 전략을 바꿔 CPU 코어와 온 다이 인터커넥트를 자체 개발해 라이센스하기로 방침을 바꿨습니다.

 

32.jpg

 

 

네오버스 N1은 4웨이 디코딩, 최대 8 명령 이슈의 슈퍼 스칼라 CPU로, 싱글스레드 성능을 높인 Cortex-A76를 기반으로 삼았습니다. 명령어 세트는 Arm v8.2. 

 

33.jpg

 

서버 CPU에서도 전력 효율을 추구한 소형/저전력 CPU 코어 디자인을 채택했습니다. 네오버스 N1 CPU 코어와 L2 캐시의 전력 소비는 1~1.8W(2.6~3.1GHz), 다이 면적은 1.15~1.4제곱mm (512KB/1MB L2 캐시, 7nm). 64 CPU 코어 SoC의 성능은 1300 SPECint06 이상, SoC 전체 전력은 105W 미만입니다.

 

35.jpg

 

Arm은 네오버스 N1을 웹 서버, 프록시, API, 게이트웨이 등의 분야에 보급하려 합니다. 합 칩스에선 오픈소스 웹서버인 NGINX에서 메모리 레이턴시와 대역폭, 컨텍스트 스위치, CPU 프론트엔드 효율 등의 최적화가 중요하다며, 네오버스 N1은 마이크로 아키텍처를 여기에 맞춰 최적화했다고 설명했습니다.

 

36.jpg

 

구체적으로는 캐시 계층과 Translation Lookaside Buffer(TLB), 분기 예측을 강화해 분기가 많은 워크로드 환경에 최적화했습니다. 또 OS/파이퍼스레딩의 활동이 많은 걸 고려해 컨텍스트 스위치의 지연 시간도 줄였습니다.

 

37.jpg

 

그 결과 지금까지 Arm 코어 서버에 들어갔던 Cortex-A72보다 NGINX에서 처리량을 크게 높일 수 있었습니다.

 

38.jpg

 

또 런타임 소프트웨어 환경을 위해 베이지 컬렉션 및 개체 관리도 개량했습니다.

 

39.jpg

 

그 외에도 인프라 애플리케이션을 위한 마이크로 아키텍처도 확장했습니다. 메모리 대역폭과 지연 개선뿐만 아니라 로드/토어의 아웃 오브 오더 윈도우를 확장했습니다.

 

 

40.jpg

 

 

네오버스를 위한 메쉬 네트워크도 제공합니다. 최대 64/128코어 구성이 가능한 매니코어 메쉬 네트워크입니다. Arm의 7nm 레퍼런스 디자인은 64코어, 128레인의 PCIe 4.0, 8채널 DDR4 인터페이스를 갖춥니다.

 

41.jpg

 

2x-4x의 CCIX 링크에서 가속 칩의 연결도 가능합니다.

 

42.jpg

 

메쉬 네트워크는 1x2에서 8x8까지 확장됩니다.

 

43.jpg

 

네오버스 N1은 CPU 코어마다 64KB의 L1 명령 캐시와 64KB의 L1 데이터 캐시, 512KB나 1MB의 L2 캐시를 갖춥니다. 또한 시스템 전체가 공유하는 캐시가 2개의 CPU 클라스마다 배치돼 메쉬 네트워크에 연결됩니다.

 

44.jpg

 

Arm의 Andrea Pellegrini(Senior Principal Engineer, Infrastructure Line of Business, Arm)

 


IBM의 Power 9 AIO는 OpenCAPI 메모리 인터페이스 버전을 구현

 

45.jpg


IBM은 Power CPU의 로드맵을 발표했습니다. 2017년에 Power 9를 출시하고, 2020년엔 I/O를 확장한 어드밴스드 I/O(AIO)를 출시, 2021년에는 다음 아키텍처인 Power 10이 나옵니다. 

 

46.jpg

 

Power CPU는 NVIDIA의 하이엔드 GPU와 함께 슈퍼 컴퓨터에 들어갑니다. Power 9는 14nm 공정, Power 10은 7nm 이후 공정을 사용하리라 추측됩니다.

 

47.jpg

 

앞으로 Power 시리즈는 I/O와 메모리 대역폭이 강화됩니다. IBM은 I/O 향상과 메모리 대역 확장을 똑같은 구조로 실현합니다.

 

48.jpg49.jpg

 

Power 9 AIO(Advanced I/O)의 DDR4 메모리 대역은 서스테인에서 650GB/s입니다. CPU와 메모리 인터페이스는 DDR4가 아니라 Open Memory Interface(OMI)라는 새로운 인터페이스를 사용합니다. OMI는 가속 인터페이스 OpenCAPI의 메모리 인터페이스 버전입니다. 차동 전송으로 25.6Gbps의 데이터 전송, x8 링크는 1채널 사용합니다. Power 9 AIO는 OMI 25Gbps x8 구성의 채널을 총 16채널 갖습니다. 양방향 피크는 800GB/s, 서스테인 대역은 650GB/s가 됩니다.

 

 

50.jpg

 

 

DIMM에는 OMI를 지원하는 마이크로 칩의 버퍼 칩인 Microchip SMC 100를 탑재합니다. 여기서 SMC 100 OMI 인터페이스를 DDR4 인터페이스로 변환합니다. DIMM은 대역폭 최적화 버전과 대용량 버전의 2가지가 있습니다. 대역폭 최적화 버전은 SMC 100 버퍼 칩과 DDR4 칩을 4개 연결합니다. 대용량 버전은 Power 9 AIO 칩을 통틀어 512GB며 대역폭은 650GB/s가 됩니다. 대용량 버전은 DDR4를 x8로 2레벨 18칩 연결합니다. 그 용량은 Power 9 AIO에서 4TB지만 서스테인 대역폭은 320GB/s입니다.

 

버퍼 칩은 대용량 메모리 서버에서는 일반적이나, OMI를 사용하는 Power 9 AIO는 인터페이스가 빨라졌다는 차이점이 있습니다. Power 9 Scale UP에서도 버퍼를 쓰지만 버퍼 칩과 DMI는 9.6Gbps입니다. OMI DIMM은 JEDEC에서 표준화 작업도 진행 중입니다.

 

Power 9 AIO의 메모리 인터페이스는 PHY에 들어가기에 전체 DRAM 액세스 대기 시간을 최소화합니다. 일반 LRDIMM보다는 4ns, RDIMM보다 5~10ns 늘어난 수준입니다.

 

51.jpg

 

또 IDM은 가속 인터페이스 OpenCAPI의 구현 계획도 있습니다. Power 9 AIO는 OpenCAPI 4.0, 2021년 Power 10에서는 OpenCAPI 5.0을 지원합니다. OpenCAPI 5.0의 전송 속도는 32/50Gbps까지 올라갑니다. 

 

52.jpg

 

Power 9 AIO는 14nm 공정으로 728제곱mm의 다이 크기, 80억개 트랜지스터, 24개의 SMT(Simultaneous Multithreading), 4코어, 120MB의 L3 eDRAM 캐시를 갖춥니다.

 

53.jpg

 

또한 25Gbps의 고속 시리얼 인터페이스 PowerAXON를 통해 멀티 소켓의 SMP (Symmetric Multi-Processing)과 연결, NVIDIA GPU의 NVLink 연결인 OpenCAPI 4.0에 사용합니다. NVLink는 최대 x48, OpenCAPI 최대 x48입니다.

 

54.jpg

 

Power 9 AIO를 발표한 Jeff Stuecheli (Power Systems hardware architect, IBM)

 



  • profile
    슬렌네터      Human is just the biological boot loader for A.I. 2019.08.27 10:51
    메인스트림 cpu를 다루지 않은 인텔은 얼마나 굴욕을 느꼈을려나요... ㅎ
  • profile
    야메떼 2019.08.27 14:20
    내놓을 아키텍쳐 조차 없는 i모사..
  • profile
    title: 17세TundraMC      자타공인 암드사랑 TundraMC/十七세 2019.08.27 14:46
    이번엔 과연 arm서버가 치고 올라올 수 있을것인가
  • ?
    MUSCLE 2019.08.27 16:01
    ARM 서버의 발전방향이 궁금하긴하네요.. 근대 발표한회사 전부 협력관계아닌가요...

    확실히 IBM 은 엔비디아하고 쿵짝을 이루긴할껏같네요... NVLINK 설명당시.. 당시 IBM 하고 연동가능성

    이야기도했엇으니요...
  • ?
    마라톤 2019.08.27 17:32
    좋은 정보 감사합니다. ^_^
  • profile
    int20h      메인: Intel i7-5960X@4.4GHz, DDR4 2666MHz 128GB RAM, GALAX GTX1080TI 서브: Intel Xeon E5-1620v2@3.7GHz, DDR3 1600MHz 32GB, AMD FirePro D300 2019.08.28 11:40
    근데 AMD의 칩렛에 있는 IF 로고가 왜이리 아두이노 IDE 처럼 생겼죠?


  1. No Image

    생각해보니 보드는 무조건 최상위로 가야할 거 같아요

    상위 세대 나오면 갈아치우는 분들에겐  상관없는데, 저 같이 오래  사용하는  사람에겐 정말이지 필요하겠더군요 Z97을 쓰고 있지만, PCIE대역폭 부족에  시달리고 있습니다. 세컨 PC인 라이젠 2600+B450도 PCIE 대여폭 부족에 제기능을 ...
    Date2019.08.28 일반 ByA11 Reply26 Views706
    Read More
  2. No Image

    nas 구축 관련 질문

    안녕하세요.   500gb 2.5인치 외장하드 2개와 노트북에서 적출한 500gb 2.5인치 hdd를 가지고 있습니다. hdd를 그냥 놀리기는 아쉬워서 nas를 구현 해보려고 하는데,(저성능, 저비용)   요즘 뜨고 있는 타오바오발 nas와 라즈베리파이 4를...
    Date2019.08.28 질문 By오홍홍 Reply15 Views270
    Read More
  3. AMD는 인텔에 비해서 슈퍼파이가 엄청 약한가 보군요...

          1. 슈퍼파이는 싱글스레드 실제 성능 x 2. 최신예 프로그래밍기술이 접목된 게 아닌 다이렉트x 9.0c 이하의 고전게임에서는 비슷하게 나온다. 3. 슈퍼파이는 x87명령어만 쓴다. 요샌 거의 안 쓴다.   등등의 이야기가 있지만 최근...
    Date2019.08.28 일반 By냠냠이 Reply10 Views926 file
    Read More
  4. No Image

    삼성 H61S1보드 핀 헤더 질문

    곧 나눔받을 딥쿨 CF140 RGB addressable 쿨러를 사용하기 위해 질문합니다. Addressable RGB를 쓰려면 메인보드 어디에 선을 꽂아야 하는지, 핀헤더에 꽂아야 한다면 어디에 꽂아야 하는지 질문합니다. 저는 기본적인 컴 조립법은 알지만...
    Date2019.08.28 질문 Bytitle: 신입HD6950 Reply4 Views258
    Read More
  5. No Image

    AMD의 불도저 코어 카운트 마케팅 소송이 일단락되었습니다.

    4모듈 8쓰레드를 8코어라고 부풀려서 마케팅 한 것에 대해서 허위과장광고로 소송을 치른게 일단락 되었습니다.   2015년에 AMD는 4모듈 8쓰레드를 8코어라고 주장한게 허위과장광고라며 배상을 요구하는 소송에 걸렸었습니다.   4년간 소...
    Date2019.08.28 소식 ByRuBisCO Reply18 Views2450
    Read More
  6. 대륙의 혼종 X99 메인보드

    어떻게보면 애즈락스럽고 박스로고 마저도 파탈 짭같이 생겼고 폰트만보면 기가바이트같이 생긴 이 보드는 대륙의 X99 메인보드입니다.   제조사는 HUANANZHI. 이미 GTX965M을 외장형으로 만든 GTX965라던가,  h61칩셋을 달아서 10만원짜...
    Date2019.08.28 소식 Bytitle: 17세TundraMC Reply19 Views1168 file
    Read More
  7. No Image

    Control 게임하다가 컴터가 재부팅 했는데요

    스펙은 9900k Z390 막시 코드 램은 4000cl16 tm5통과 글카는 msi rtx2080ti 트라이프로저 파워는 시소닉 프라임 울트라 850 골드입니다 외국 포럼을 보니 이건 글카 결함이라는데 맞을까여? 이게 뭐 전압으로 인해 일어나는 현상 같은데.....
    Date2019.08.28 질문 ByDewiAngel Reply16 Views671
    Read More
  8. 타오바오 4베이 NAS 살펴보기

    이전 편( https://gigglehd.com/gg/review/5460781 ) 에서 겉모양을 요모조모 뜯어봤으니, 이번에는 켜보고 설정을 진행해봤습니다. 바로 올리고 싶었는데 요즘 바빠서 시간이 없었네요. 내용이 길다 보니 간단하게 목차를 적었습니다.   ...
    Date2019.08.28 테스트 ByMoria Reply15 Views2828 file
    Read More
  9. No Image

    지포스 GTX 1650 Ti가 10월 출시?

    4월에 NVIDIA는 TU117 GPU를 사용한 지포스 GTX 1650을 발표했습니다. 16개의 CU 중 14개만 사용, 896개의 CUDA 코어를 갖춘 GPU였지요. 그리고 이번에는 풀칩 TU117를 사용한 지포스 GTX 1650 Ti가 나온다고 합니다. 그럼 1024개의 CUDA ...
    Date2019.08.27 소식 By낄낄 Reply5 Views772
    Read More
  10. 써멀라이트 마초 Rev.C EU 쿨러

    써멀라이트 마초 Rev.C EU 쿨러입니다. 쿨링팬을 바꾼 리비전 제품이지요. TY-147AQ(600~1,500rpm/19~23dBA)에서 TY-14U(300~1,300rpm/15~21dBA)가 됐습니다. 140mm 쿨링팬을 2개까지 장착하는 사이드 플로우 쿨러, 6mm 히트파이프 6개 장...
    Date2019.08.27 소식 By낄낄 Reply2 Views623 file
    Read More
  11. AMD, IBM, Arm이 Hot Chips 31에서 CPU 아키텍처를 공개

    CPU 컨퍼런스에서 AMD가 기조 연설 매년 8월에 반도체 칩 컨퍼런스 Hot Chips가 열립니다. 최첨단 프로세서가 선보이는 장소로, 2019년엔 미국 스탠포드 대학의 The Memorial Auditorium 강당에서 8월 18일부터 20일까지 열렸습니다. 첫날...
    Date2019.08.27 소식 By낄낄 Reply6 Views3383 file
    Read More
  12. 글로벌 파운드리, TSMC, 애플, 퀄컴, NVIDIA을 고소

    글로벌 파운드리가 TSMC와 그 고객들을 고소했습니다. 손해 배상과 함께 관련 제품의 수입 금지..는 뭐 당연한 수순이네요. TSMC가 FinFET 트랜지스터를 포함해 칩 제조의 다양한 특허 16개를 침해했다는게 글로벌 파운드리의 주장입니다....
    Date2019.08.27 소식 By낄낄 Reply12 Views2649 file
    Read More
  13. 녹투아, 검은색 쿨러를 준비중

    녹투아 크로맥스 시리즈의 티저 영상입니다. 녹투아 특유의 똥색이 아닌 검은색이네요. 컴퓨텍스에서 이미 검은색 쿨러는 전시한 바 있습니다.
    Date2019.08.27 소식 By낄낄 Reply10 Views1168 file
    Read More
  14. No Image

    라데온 VII, 단종인가 아닌가?

    라데온 VII가 EOL, 그러니까 단종 상태라는 소식입니다. https://www.pugetsystems.com/labs/articles/DaVinci-Resolve-GPU-Roundup-NVIDIA-SUPER-vs-AMD-RX-5700-XT-1563/ 하지만 AMD는 앞으로의 수요를 계속해서 만족시킬 경험을 제공할...
    Date2019.08.27 소식 By낄낄 Reply8 Views791
    Read More
  15. 인텔: AMD가 많이 늘었지만 여전히 우리가 최고

    인텔은 AMD의 3세대 라이젠이 많이 발전했으며 격차를 좁히는데 많은 노력을 했지만, 게임에선 여전히 인텔이 고성능 CPU를 갖고 있으며 지금의 자리를 유지해 나갈 것이라고 말했습니다. AMD가 여러 작업의 복합 수행에서는 유리하나 오...
    Date2019.08.27 소식 By낄낄 Reply26 Views1520 file
    Read More
목록
Board Pagination Prev 1 ... 13 14 15 16 17 18 19 20 21 22 ... 755 Next
/ 755

최근 코멘트 30개
Veritas
23:50
Veritas
23:49
제한회원
23:48
나르번
23:47
Moria
23:46
Henduino
23:46
위네
23:45
Veritas
23:44
Henduino
23:42
로리링
23:38
쿠민
23:36
포인트 팡팡!
23:35
기하와벡터
23:35
남겨진흔적
23:34
호옹이v
23:34
오므라이스주세요
23:32
BOXU
23:31
Veritas
23:30
슈베아츠
23:28
슈베아츠
23:24
Veritas
23:23
니아옹이
23:22
THEHOONEY
23:18
위네
23:16
Rufty
23:15
소스케
23:06
슬렌네터
23:05
까르르
23:05
슬렌네터
23:05
슬렌네터
23:03

MSI 코리아
와사비망고
쓰리알시스템

공지사항        사이트 약관        개인정보취급방침       신고와 건의


기글하드웨어는 2006년 6월 28일에 개설된 컴퓨터, 하드웨어, 모바일, 스마트폰, 게임, 소프트웨어, 디지털 카메라 관련 뉴스와 정보, 사용기를 공유하는 커뮤니티 사이트입니다.
개인 정보 보호, 개인 및 단체의 권리 침해, 사이트 운영, 관리, 제휴와 광고 관련 문의는 이메일로 보내주세요. 관리자 이메일

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소