인텔 제온 E7 v3의 웨이퍼와 패키지

인텔은 5월 5일에 미션 크리티컬/대규모 서버용 CPU의 최신 제품인 제온 E7 v3을 발표했습니다. 코드네임 하스웰-EX로 최대 18개의 CPU 코어를 내장하며 DDR4 메모리를 지원하는 서드파티 칩셋과 조합해 최대 8웨이 구성으로 시용할 수 있습니다.

제온 E7 v3의 가장 큰 특징은 하스웰 세대에서 도입한 새로운 명령 세트인 인텔 TSX(Transactional Synchronization Extensions)를 지원한다는 점입니다. 멀티 스레드 명령을 실행할 때 발생하는 메모리 락을 피해 여러 스레드를 효율적으로 처리, 메모리 내용의 변경이 있었을 때만 스레드를 파기하고 처리하게 됩니다.

TSX는 하스웰 세대에서 도입됐으나 클라이언트 전용 제품(코어 프로세서)나 기존의 서버용 제품(제온 E5-2600 v3 등)에선 지원하지 않습니다. 제온 E7-v3에서 처음으로 지원하는 것. TSX를 사용하는 제온 E7 v3은 최대 6배의 성능 향상 효과를 내기에, 대규모 서버 환경에서 TSX를 잘 활용하면 상당한 성능 향상을 끌어낼 수 있을 것입니다.

저가형인 제온 E3 제품 패밀리는 1개의 CPU 소켓을 사용하는 서버를 공략합니다. CPU 소켓과 CPU 다이는 클라이언트 PC에서 쓰이는 LGA 1150을 그대로 씁니다. 현재 최신 제품은 하스웰-EN의 코드네임이 붙은 제온 E3 v3 패밀리가 됩니다.

보급형 서버에서 CPU 소켓이 2개나 4개인 서버를 겨냥하는 제품이 -EP 라인입니다. EP의 CPU 소켓은 LGA 2011로 QPI(Quick Path Interconnect)버스로 CPU을 서로 연결합니다 현재 최신 제품은 2014년 9월에 발표된 제온 E5-2600 v3입니다.

그리고 표준 4웨이 구성, 서드파티 칩셋으로 8웨이 구성을 지원하는 -EX 제품군이 있습니다. CPU 소켓은 EP와 같은 LGA 2011이며 역시 QPI로 여러 CPU 소켓 사이를 연결합니다. EX는 미션 크리티컬(기존에는 범용 제품으로 커버하던 기간 업무용)이나 대규모 데이터베이스 등의 대형 서버를 위한 제품으로, 이 EX에 해당되는 최신 제품이 인텔에서 이번에 발표한 코드네임 하스웰-EX, 제온 E7 v3입니다.

제온 E7 v3의 패키지

기존과 같은 소켓 R, LGA 2011 패키징입니다.

제온 E7 v3의 마이크로 아키텍처는 클라이언트 PC용 CPU인 4세대 코어 프로세서, 코드네임 하스웰과 같습니다. 아이비브릿지 세대와 비교하면 10%의 IPC 개선, L1/L2 캐시의 대역폭 개선, 통합형 전압 변환기(IVR) 등의 특징은 같습니다.

제온 E7 v3. 플랫폼은 v2와 같은 브릭랜드(Brickland)이며 메모리 RAS, QPI 전송 속도가 달라졌습니다.

게다가 다이 자체도 작년 9월에 발표된 하스웰-EP 기반 제온 E5-2600의 HCC와 같습니다. EP에서 쓰지 않는 기능이 일부 활성화됐지만 그건 나중에 설명하지요. 그래서 CPU 코어 수는 최대 18코어, 하이퍼스레딩으로 36스레드, LLC(L3 캐시)도 CPU 코어 1개 당 2.5MB로 최대 45MB입니다. 아이비브릿지-EX와 아이비브릿지-EP의 최대 코어 수가 달랐던 것과는 큰 차이가 있습니다.

제온 E7 v3의 다이. 작년 9월에 발표된 제온 E7-2600 v3와 같은 다이입니다.

아이비브릿지에선 EX가 15코어, EP가 12코어로 명확하게 구분됐습니다. 그러나 이번 하스웰 세대에선 EX와 EP가 모두 18코어로 최대 코어 수가 같습니다. 2세대 전인 샌디브릿지에서 EX 제품군은 나오지 않았지만, 3세대 전인 웨스트메어만 해도 EX가 10코어, EP가 6코어니, 최대 코어 수가 같게 나온 점을 이상하게 생각하는 사람도 있을 것입니다.

웨스트메어 세대까지는 EP와 EX가 서로 다른 다이로 설계됐습니다. 허나 샌디브릿지 이후에는 공통 기본 설계를 사용했습니다. EX는 취소됐지만요. 즉 기본적인 구조(링버스, LCC, 언코어)를 공유하고 CPU 코어 수를 늘리고 줄여 변화시키는 것입니다.

아이비브릿지 세대에선 15/12/10/6코어라는 4개의 다이를 만들어 15코어를 EX, 12코어 이하를 EP용으로 할당했지만, 하스웰 세대에선 18/12/8코어의 3개 다이로 줄어 18코어를 EX와 EP 양쪽에 할당하면서 이런 변화가 생겼습니다.

EX 서버

메모리 버퍼, RAS를 쓸 수 있다는 걸 제외하면 제온 E5-2600 v3의 HCC와 기능이 같습니다.

제온 E7 v3의 다이 구조. 2개의 홈 에이전트가 있는 링버스가 2개(양방향)이란 구조도 마찬가지입니다.

이처럼 이번에 나온 제온 E7 v3(하스웰-EX)는 제온 E5-2600 v3(하스웰-EP)의 HCC와 같은 18코어 다이를 채택했는데, 코어 수 외에도 서로 다른 점이 3가지가 있습니다. 바로 메모리, RAS, 인텔 TSX의 지원입니다.

제온 E5-2600 v3에선 일부 특별한 SKU를 제외하면 DDR4 메모리만 지원했습니다. 허나 제온 E7 v3에선 DDR3와 DDR4를 모두 지원합니다. 제온 E5-2600 v3은 CPU에 내장된 메모리 컨트롤러에 메모리가 직접 접속되기에 DDR4만 지원했지만, 제온 E7 v3은 메모리 버퍼(코드네임 Jordon Creek 2)를 중간에 끼워 버퍼가 라이저 카드에 장착되는 형태라 모두 지원합니다.

서버 업체들은 출고 시 DDR3용 라이저 카드를 꽂으면 DDR3용으로 출시, DDR4용 라이저 코드를 꽂으면 DDR4용으로 출시할 수 있으며, 조던 크릭 2에는 C112/C114라는 2가지 제품이 있어 C112가 채널 당 2 DIMM, C114가 채널 당 3 DIMM을 지원합니다.

제온 E7 v3의 메모리 구성. 각 버퍼당 2개의 메모리 채널이 있고 1개의 채널에는 3 DIMM까지 구현 가능합니다.

랙 서버 전면에 구비된 메모리 라이저 카드

이 메모리 버퍼와 CPU 사이의 버스인 SMI(Scalable Memory Interconnect)의 전송 속도도 향상돼, 기존 세대인 제온 E7 v2(아이비브릿지-EX)에선 2667MT/초던 것이 3200MT/초로 올랐습니다. 기본적으로 제온 E7 v3은 제온 E7 v2와 플랫폼(코드네임 Brickland)을 공유하기에 메인보드가 지원만 한다면(바이오스에서 지원한다면) CPU를 바꿔 사용할 수 있습니다. 메모리 슬롯도 라이저 카드 형태로 제공하는 경우가 있으니 DDR3에서 DDR4로 라이저 카드를 바꾸는 것도 이론적으론 가능합니다. OEM 업체들이 그렇게 해주는지는 별개의 문제지만.

메모리는 퍼포먼스와 락 스텝 모드의 2가지가 있습니다. 퍼포먼스 모드는 SMI(CPU-메모리 버퍼 사이의 버스)와 DDR 메모리 클럭의 비율이 2:1이 되지만, 락 스텝 모드는 1:1이 됩니다. 퍼포먼스 모드는 성능 위주, 락 스텝은 신뢰성 위주일 때 선택하는 모드입니다. 각각 모드에서 DRAM의 동작 클럭이 달라지는데 구체적으로는 다음과 같습니다.

DDR4에서 LRDIMM을 사용하면 1개의 DIMM에서 최대 용량은 64GB가 됩니다. 1개의 메모리 버퍼에 3DIMM x2 채널 구성으로 1개의 CPU 소켓에 4개의 메모리 버퍼를 연결할 수 있으니 총 24개의 DIMM을 접속 가능, 64GB LRDIMM을 쓰면 1개의 CPU당 1536GB의 메모리를 장착할 수 있게 됩니다. 이로서 4소켓 시스템에선 최대 6TB, 8소켓 시스템에선 최대 12TB의 메모리를 장착 가능합니다.

두번째 차이는 Intel Run Sure Technology라 불리는 RAS(Reliability Availability Serviceability 신뢰성/가용성/보수성) 기능이 탑재됐다는 것입니다. RAS 기능이란 이름 그대로 기업 내 서버의 신뢰성, 가용성, 보수성을 높이는 기능으로 한마디로 요악하면 서버가 하드웨어 문제로 다운되지 않도록 확장해주는 기능입니다. 기존 세대인 제온 E7 v2(아이비브릿지-EX)에서도 지원하던 기능으로 제온 E7 v3에선 인헨스드 MCD 2.0, 어드레스, 레인지 메모리 미러링, 멀티 레벨 스페어링, DDR4 커맨드/어드레스, 패리티 에러 리커버리 등의 기능이 추가됐습니다.

RAS 기능인 Intel Run Sure Technology가 확장됐습니다.

인헨스드 MCA Gen.2는 기존 세대인 제온 E7 v2에 탑재된 인핸스드 MCA에 펌웨어 기반 에러 처리를 확장해서 에러를 펌웨어로 처리할 수 있도록 확장한 것입니다. 구체적으로는 교정 가능한 에러와 불가능한 에러를 모두 펌웨어에서 가로채고 이후에 OS에 에러가 통지됩니다. 이로서 펌웨어가 감지하는 하드웨어 구성 정보를 바탕으로 모다 스마트하게 OS에 정보를 전달할 수 있으며 결과적으로 북구 가능한 이벤트 수가 늘어납니다. 이는 원래 아이테니엄 프로세서의 펌웨어에서 쓴 기능으로 제온 E7에도 탑재된 것이라 하네요.

인헨스드 MCA Gen.2는 펌웨어가 관여하는 범위를 넓혀 보다 효율적인 에러 통지가 가능합니다.

어드레스 레인지 메모리 미러링은 메모리의 일부만 미러링하는 방식입니다. 제온 E7은 메모리 미러링 기능이 있어 일부 메모리 모듈이 말성을 일으킬 경우 미러링되는 다른 메모리 모듈을 이용해서 시스템을 계속 가동합니다. 그러나 항상 모든 영역을 미러링하면 메모리 중 절반만 쓰게 되니 성능에 악영향을 주게 됩니다. 그래서 제온 E7 v3은 메모리의 특정 주소, 구체적으로는 OS 커널을 비롯해 시스템을 가동하는 데 있어 최소한의 필수 구역만 미러링하고 애플리케이션은 미러링하지 않도록 설정할 수 있습니다.

어드레스 레인지 메모리 미러링은 메모리의 일부분만 미러링할 수 있습니다.

멀티 레벨 스페어링은 하나의 메모리 컨트롤러에 연결된 서로 다른 DIMM의 예비 레벨에서 동적으로 전환 구조를 제공하는 기능입니다. DIMM 레벨은 메모리 컨트롤러가 DIMM의 DRAM에서 데이터를 입출력하는 단위이며 한 레벨에 장애가 발생했을 때 다른 레벨로 전환하는 예비 기능이 제공되는데, 기존에는 같은 메모리 버퍼 안의 예비 레벨에서만 전환하던 것이, 이제는 같은 메모리 컨트롤러에 연결된 다른 메모리 버퍼의 예비 레벨로 전환이 가능해졌습니다. 이로서 장애가 발생한 DIMM을 바로 교환하지 않아도 쓸 수 있습니다.

멀티 레벨 스페어링잉은 같은 메모리 컨트롤러에 연결된 다른 메모리로 버퍼 전환이 가능합니다.

DDR4 커맨드/어드레스, 패리티 에러 리커버리는 DDR4 메모리를 사용할 때 커맨드/어드레스 송신 시 패리티 에러가 발생하면 복구하는 기능입니다. 기존의 DDR3에선 패리티 에러를 회복하지 못했으나 DDR4에선 그게 가능합니다. 이로서 시스템 크래시를 줄 수 있는 메모리 오류 발생 빈도를 줄일 수 있습니다.

DDR4 커맨드/어드레스, 패리티 에러 리커버리는 DDR4 메모리를 사용할 때 커맨드/어드레스 송신 시 패리티 에러가 발생하면 복구하는 기능

그리고 제온 E7 v3의 가장 큰 특징이 TSX를 지원한다는 것입니다. TSX(Transactional Synchronization Extensions)는 CPU가 여러 스레드를 병렬 처리할 경우 자주 발생하는 락 처리를 더욱 유연하게 대처하는 구조입니다.

CPU가 여러 스레드를 병렬 처리할 때 문제가 되는 건 동시에 처리하는 스레드의 데이터가 상관 관계에 있는 경우입니다. 예를 들어 첫번째 스레드와 두번째 스레드에서 같은 데이터를 처리할 때, 첫번재 스레드의 실행이 끝나기 전까진 두번째 스레드를 실행해도 의미가 없으니, IA는 데이터를 보호하는 처리를 수행하는데 이게 바로 락입니다.

잠겨진 데이터를 처리하는다른 스레드는 잠긴 스레드의 처리가 끝날 때까진 실행을 기다립니다. 그러나 특정 스레드의 데이터가 다른 스레드에 영향을 미치는지는 실행이 끝나기 전까진 알 수 없으니, 불필요하게 데이터가 잠겨지면 스레드의 병렬 실행 효율이 떨어질 수 있습니다.

그래서 TSX는 두가지 방식으로 데이터 잠금 동작을 하지 않고 스레드를 병렬 실행합니다. 그리고 처리가 이뤄진 후 데이터 잠금 없이 실행할 수 없다는 것을 파악하면 이미 실행된 스레드를 파기하고 다시 처리합니다. 그러면 스레드의 실행 효율을 향상시키고 전체 성능을 높이게 됩니다.

TSX는 HLE(Hardware Lock Elision)과 RTM(Restricted Transactional Memory)라는 두가지 방식이 있는데, 전자는 레거시 커맨드 프리 픽스(XACQUIRE및 XRELEASE)을 이용하고, 후자는 TSX에서 추가된 새로운 명령 프리 픽스(XBEGIN, XEND, XABORT)를 씁니다.

제온 E7 v3에선 처음으로 TSX 기능이 활성화됐습니다.

TSX는 하스웰 세대의 다른 제품(클라이언트, 하스웰-EN, 하스웰-EP)에선 마이크로 코드 레벨에서 무효화됐으며, 브로드웰에서도 클라이언트 전용 제품은 아직 비활성화 됐습니다. 그래서 TSX를 쓸 수 있는 제품은 제온 E7 v3이 처음인 셈입니다. 또 인텔은 아직 TSX를 다른 하스웰 세대 CPU(제온 E5-2600 v3이라던가)에서 활성화할 예정은 없다고 합니다.

TSX를 유효화 했을 경우의 효과는 매우 큽니다. 인텔에 따르면 제온 E7-4890 v2(15코어, 2.8GHz)에 SAP HANA SP8이란 인 메모리 처리 소프트웨어를 이용하는 환경과, TSX 지원이 추가된 SAP HANA SP9과 제온 E7-8890 v3(18코어, 2.5GHz)를 비교하면 최대 6배의 트랜젝션 처리가 실현 가능하다네요. 다만 여기에는 CPU의 성능 향상(기존 세대의 1.5배), HANA SP9 자체의 성능 향상(1.8배)이 포함돼 있으니 TSX만의 성능 향상은 2.2배가 됩니다. 이걸 다 합쳐서 6배의 성능 향상이 있다는 것이지요.

HLE을 사용하려면 RTM을 쓰는 소프트웨어의 지원이 필수입니다. 인텔은 이미 ISV에 대한 지원을 시작했으며 SAP의 HANA SP9은 그 한가지 사례입니다. 인텔에 따르면 SAP은 HANA에 대한 TSX의 장착을 3개월 안에 하는 것이 가능하다고 합니다. HANA의 장착은 프로그러마가 직접 해야 하지만 인텔이 제공하는 각종 개발 툴(Vtune 등)을 이용하면 개발 기간을 더욱 줄일 수 있습니다.

이번에 발표된 제온 E7 v3(하스웰-EX)와 기존의 제온 E7 v2(아이비브릿지-EX)의 주요 차이를 정리하면 아래 표와 같습니다.

 제온 E7 v3가 되면서 TDP가 10W 올라갔지만 이건 전압 변환기(Voltage Regulator)가 CPU에 통합되서 그렇습니다. 메이보드에선 그만큼 전력이 줄었으니 전체적으론 같습니다.

CPU 소켓은 기존의 제온 E7 v2와 같은 소켓 R1(LGA2011)이며 핀 호환성을 지녔습니다. 칩셋도 제온 E7 v2와 같은 칩셋을 쓸 수 있으며, 메인보드에서 지원하면(바이오스가 제온 E7 v3을 지원하면) CPU 교체만으로 업그레이드하는 것도 이론적으론 가능합니다.

또 COD(Cluster On Die)이라는 새로운 현금 스누프, VMCS 쉐도잉과 EPT A/D지원 등 VT-x의 새로운 기능, 코어마다 P 스테이트 기능 구현 등의 하스웰 세대의 기능 향상은 제온 E5-2600 v3와 같습니다.

제온 E7 v3의 제품군은 다음과 같습니다.

SKU는 표준과 특정 용도가 있습니다. 고급(고성능), 표준, 기본형(저가형)이지요. 고성능이 8소켓까지 지웒하지만 다른 제품은 4소켓까지만 쓸 수 있습니다. 이전 제온에서 30개에 달하는 프로세서가 있었던 것을 감안하면 제품 종류가 많이 줄어들 셈입니다. 다만 인텔은 특정 고객을 위해 대규모 커스텀 SKU를 제공할 수 있다고 설명했습니다.

또 고성능과 표준SKU는 터보 부스트를 쓸 수 있는데 각 SKU의 클럭 변화는 다음과 같습니다.

제온 E7 v3도 제온 E5-2600 v3에서 도입된 AVX 기본 클럭이 도입돼, AVX 명령 실행 시 일시적으로 클럭을 낮춰 서멀 스로틀링을 막는 기능이 있습니다.

인텔은 발표와 함께 각종 애플리케이션에서 벤치마크 결과를 발표했습니다. 인텔은 평균 성능 향상이 1.4배이며, 특히 SAP HANA SP9에서 TSX를 사용할 경우 6배의 성능 향상을 실현한다고 설명합니다.

SPECrate2006의 점수(추정값, SPEC의 공식 값은 앞으로 발표될 예정)는 기존(제온 E7 v2)보다 16% 향상

SPECcpu2006의 점수(추정값, SPEC의 공식 값은 앞으로 발표될 예정)는 기존(제온 E7 v2)보다 6~9% 향상

기존 세대(제온 E7-4890 v2)과 제온 E7-8890 v3의 비교. SAP HANA SP9의 6배가 가장 돋보이며 평균 1.4배의 성능 향상을 실현

IBM POWER 8 기반 서버와 비교하면 가격 대 성능비가 10배에 달하며 TCO는 85% 낮다고 합니다. 가격적인 장점이 높으니 대기업에선 POWER 기반 서버 대신 IA로 바꾸는 게 낫다는 게 인텔의 주장.