Klaster dual Xeon + 6 CMP 90HX dla ML

Lokalny klaster na dual Xeon i 6 CMP 90HX: montaż i optymalizacja dla zadań uczenia maszynowego

Inżynierowie często preferują lokalne węzły obliczeniowe nad usługami chmurowymi ze względu na pełną przejrzystość i brak zewnętrznych zależności. W chmurze opóźnienia sieci, zmiany API i taryfy utrudniają stabilną pracę. Lokalny klaster na dwóch Xeon i sześciu GPU poziomu RTX 3080 rozwiązuje te problemy: wszystkie metryki dostępne bezpośrednio, diagnostyka uproszczona, brak kolejek czy limitów.

System nadaje się do zadań o wysokich wymaganiach co do opóźnień i zasobów: przetwarzanie logów, widzenie komputerowe, upskaling wideo, symulacje procesów fizycznych, rendering i lokalne serwisy automatyzacji.

Wybór platformy sprzętowej

Podstawą jest płyta Jingsha X99 Dual Plus z dwoma gniazdami LGA 2011-3, sześcioma slotami PCIe (4x16, 2x8) i obsługą 8 slotów DDR4. Procesory — używane Xeony z 48 rdzeniami łącznie, zapewniają wysoką równoległość dla zadań obciążających procesor.

Kluczowym elementem jest GPU. Wariant początkowy: NVIDIA P104-100 na architekturze Pascal (GP104, ~6.5 TFLOPS FP32, 8 GB GDDR5). Karty tanie na rynku wtórnym po wydobyciu kryptowalut, nadają się do podstawowych zadań CUDA.

Jednak dla współczesnego ML architektura Pascal jest ograniczona:

• Brak rdzeni tensorowych: operacje macierzowe poprzez uniwersalne rdzenie CUDA.
• Słabe wsparcie dla FP16/INT8: bez przyspieszenia sprzętowego.
• Wąskie gardło pamięci przy dużych modelach.

Optymalny wybór — CMP 90HX na architekturze Ampere (G102-100, ~RTX 3080, 10 GB GDDR6X). Rdzenie tensorowe przyspieszają mnożenia macierzowe, wspierają precyzję mieszaną. Ulepszone cache i przepustowość pamięci. Koszt ~5000 rubli/szt — porównywalny z P104, ale wydajność w sieciach neuronowych wielokrotnie wyższa.

| Architektura | TFLOPS FP32 | Pamięć | Rdzenie tensorowe | Cena (przykładowo) |

|--------------|-------------|--------|-------------------|-------------------|

| Pascal (P104) | 6.5 | 8 GB GDDR5 | Nie | Niska |

| Ampere (CMP 90HX) | Wyższe | 10 GB GDDR6X | Tak (FP16/INT8) | Porównywalna |

Problemy montażu i ich rozwiązanie

Pamięć i kody POST

Instalacja standardowych UDIMM DDR4 prowadziła do zawieszenia na POST 79 (inicjalizacja huba). Platformy serwerowe wymagają ECC UDIMM: dodane bity korekcji błędów stabilizują pracę pod obciążeniem. Kontroler Xeon ignoruje non-ECC, co maskuje się pod inne błędy.

Rekomendacja: Dla dual-socket X99 zawsze używaj ECC UDIMM — oszczędza godziny diagnostyki.

Hałas i chłodzenie

Zasilacz 1800 W + 6x250 W GPU wymagają potężnego nadmuchu. Standardowe chłodzenie górnicze jest głośne. Rozwiązanie: 120-mm ciche wentylatory w obudowie do dostarczania powietrza do kart. Chłodzenie GPU reguluje obroty automatycznie.

Diagnostyka GPU pod obciążeniem

Wszystkie karty przechodzą podstawowe testy (nvidia-smi, stres pamięci), ale jedna nie wykonywała zadań: obciążenie 100%, temperatura statyczna, generacja LLM/hashcat-b nie startuje. Wykluczenie karty normalizowało pracę.

Oznaki wadliwego GPU:

• Pełne obciążenie według metryk bez nagrzewania chipa.
• Brak postępu w zadaniach (LLM, benchmarki).
• Normalna inicjalizacja, ale awaria pod realnym obciążeniem.

Problem nie w PCIe (szerokość wystarczająca), ale w defekcie chipa — częściowo sprawny GPU imituje aktywność.

Testowanie wydajności

W zadaniach CUDA bez tensorów Ampere daje umiarkowany wzrost: wyższe częstotliwości, lepsza pamięć. W ML — radykalny: rdzenie tensorowe przyspieszają inferencję/trening wielokrotnie dzięki FP16/INT8.

Przykład: ładowanie LLM w 10 GB VRAM na CMP 90HX przebiega bez swappingu, gdzie P104 natrafia na 8 GB. Przepustowość GDDR6X zmniejsza opóźnienia wymiany danych.

Dla multi-GPU: płyta rozkłada obciążenie równomiernie przy prawidłowej konfiguracji (nvidia-smi topo -m). Użyj 750 Ti jako zatyczki do wyświetlacza w slocie x16.

Co ważne

• Pamięć ECC obowiązkowa dla platform serwerowych — zapobiega bit-flips pod obciążeniem.
• CMP 90HX > P104 dla ML: rdzenie tensorowe i 10 GB VRAM uzasadniają wybór.
• Diagnostyka GPU wymaga realnych zadań, nie tylko syntetyki.
• Chłodzenie krytyczne przy 1800+ W — ciche wentylatory obudowowe rozwiązują hałas.
• Lokalność eliminuje opóźnienia sieciowe w CV/wideo/symulacjach.

Całkowita objętość tekstu ~3200 znaków. Klaster gotowy do eksperymentów: od lokalnych LLM do symulacji schematów.

— Editorial Team