ML용 듀얼 Xeon + 6 CMP 90HX 클러스터

CMP 90HX GPU 6장 탑재 듀얼 Xeon 클러스터 구축: ML 워크로드 조립 및 최적화

엔지니어들은 클라우드 서비스 대신 로컬 컴퓨트 노드를 선호합니다. 완전한 투명성과 외부 의존성 없음이 이유죠. 클라우드는 네트워크 지연, API 변경, 예측 불가능한 요금으로 안정적인 워크플로를 방해합니다. 듀얼 Xeon CPU와 RTX 3080급 GPU 6장의 로컬 클러스터는 이런 문제를 싹 해결합니다: 모든 메트릭스 직접 접근, 문제 해결 간단, 대기나 제한 없음.

이 구성은 지연 민감하고 자원 집약적인 작업에 딱 맞아요. 로그 처리, 컴퓨터 비전, 비디오 업스케일링, 물리 시뮬레이션, 렌더링, 온프레미스 자동화 서비스 등에 최적입니다.

하드웨어 플랫폼 선택

기반은 Jingsha X99 Dual Plus 마더보드입니다. 듀얼 LGA 2011-3 소켓, PCIe 슬롯 6개(4x16, 2x8), DDR4 8슬롯 지원. CPU는 Xeon 프로세서로 총 48코어, CPU 집약적 워크로드에 높은 병렬 처리 제공.

주인공은 GPU예요.입문 옵션: NVIDIA P104-100(Pascal 아키텍처, GP104, ~6.5 TFLOPS FP32, 8 GB GDDR5). 채굴 후 중고 시장에서 저렴, 기본 CUDA 작업 가능.

하지만 현대 ML에는 Pascal이 부족:

• 텐서 코어 없음: 행렬 연산이 일반 CUDA 코어에 의존.
• FP16/INT8 지원 약함: 하드웨어 가속 없음.
• 대형 모델 메모리 병목.

최적은 Ampere 기반 CMP 90HX(G102-100, ~RTX 3080급, 10 GB GDDR6X). 텐서 코어가 혼합 정밀도 행렬 곱셈을 가속. 향상된 캐시와 메모리 대역폭이 결정적. 장당 ~$50으로 P104과 비슷한 가격에 신경망 성능이 몇 배 이상.

| 아키텍처 | TFLOPS FP32 | 메모리 | 텐서 코어 | 가격(대략) |

|----------|-------------|------------|---------------|------------|

| Pascal (P104) | 6.5 | 8 GB GDDR5 | 없음 | 저가 |

| Ampere (CMP 90HX) | 높음 | 10 GB GDDR6X | 있음 (FP16/INT8) | 비슷함 |

조립 도전 과제와 해결

메모리와 POST 코드

표준 UDIMM DDR4 설치 시 POST 코드 79(허브 초기화)에서 멈춤. 서버 보드는 ECC UDIMM 필수: 추가 오류 수정 비트로 부하 안정성 보장. Xeon 메모리 컨트롤러가 비-ECC 무시, 다른 고장 흉내.

팁: 듀얼 소켓 X99 보드에는 항상 ECC UDIMM 사용—디버깅 시간 절약.

소음과 쿨링

1800W PSU + 6x250W GPU는 강력 공기 흐름 필요. 기본 채굴 쿨러 시끄러움. 해결: 120mm 저소음 케이스 팬으로 카드 위 공기 유입. GPU 팬 RPM 자동 조절.

부하 시 GPU 진단

모든 카드 기본 테스트(nvidia-smi, 메모리 스트레스) 통과, 하지만 하나는 작업 안 함: 100% 이용률, 온도 정적, LLM이나 hashcat 진행 없음. 제거하니 클러스터 정상.

고장 GPU 징후:

• 칩 가열 없이 메트릭스 100%.
• 작업 진행 없음(LLM, 벤치마크).
• 초기화 정상인데 실제 워크로드 실패.

PCIe 문제 아님(대역폭 충분)—칩 결함으로 가짜 활동 흉내.

성능 테스트

비-텐서 CUDA 작업에서 Ampere는 클록 상승, 메모리 개선으로 소폭 이득. ML에서는 게임 체인저: 텐서 코어가 FP16/INT8로 추론/학습 시간 대폭 단축.

예: 10 GB LLM을 CMP 90HX VRAM에 로드—스와핑 없음. P104은 8 GB 한계. GDDR6X 대역폭으로 데이터 전송 지연 줄임.

멀티 GPU: 적절 설정(nvidia-smi topo -m)으로 보드 부하 균등. x16 슬롯에 750 Ti 디스플레이 더미 사용.

주요 교훈

• ECC 메모리 필수—서버 보드에서 부하 비트 플립 방지.
• CMP 90HX가 P104 압도—텐서 코어 + 10 GB VRAM으로 ML 가치 만점.
• GPU 진단은 실제 워크로드로, 합성 테스트만으론 안 됨.
• 쿨링 핵심—1800W+에서 저소음 케이스 팬 필수.
• 로컬화로 네트워크 지연 제거—CV/비디오/시뮬레이션 최적.

클러스터 준비 완료: 로컬 LLM부터 회로 시뮬레이션까지. (~3200자)

— Editorial Team