Отзывы о XK GI22G3

Развернули кластер из 8 нод GI22G3 под инференс LLM-моделей. На каждой ноде по 2×A100 — при batch size 64 latency на генерации держится в пределах 40ms p99. Шина PCIe 4.0 x16 не стала узким местом благодаря NVLink-мосту между GPU. За 4 месяца эксплуатации ни одного незапланированного даунтайма.

Мигрировали с Dell R750xa на GI22G3 — выиграли ~15% на throughput в задачах distributed training (PyTorch DDP). BMC на базе OpenBMC удобен для автоматизации через Redfish API. IPMI работает стабильно, интегрировали в наш Ansible-пайплайн за пару часов.

Используем для fine-tuning BERT и GPT-моделей. 32 слота DDR4 дают достаточно RAM для препроцессинга больших датасетов без выгрузки на диск. Единственный минус — при полной загрузке GPU шум в серверной ощутимо вырос, но это стандартная история для 2U GPU-платформ.