Обзор серверной платы Asus Z9PE-D16/2l

• Выпуск платы
• Форм-фактор
• Питание
• Процессоры
• Память
• Диски
• Видеокарта
• IPMI/BMC
• Прочие элементы
• Документация и обновления
• Цена комплекта
• Выводы

В 2023 году я приобрел серверную материнскую плату от Asus модель Z9PE-D16/2L для своего домашнего сервера виртуализации на базе Proxmox. Все это время плата работала в сервере исправно, а теперь мне захотелось подробно разобраться в ее устройстве и понять ее слабые места. Поэтому я разобрал свой домашний сервер и провел детальный разбор ее составляющих. Мне было интересно более детально изучить ее компоненты, уже после того как почти год я активно использовал ее в работе. И как оказалось, я использовал не весь ее потенциал.

Видео-обзор можно посмотреть на youtube и rutube..

Кстати, на хабре есть моя статья о том как я собирал свой первый домашний сервер, где я детально разбираю свою историю от абсолютного новичка до владельца домашнего сервера, а в конце статьи можно найти все цены на момент сборки сервера.

#Выпуск платы

Плата Z9PE-D16/2L была анонсирована и поступила в продажу в 2012 году, вскоре после выхода процессоров Intel Xeon E5-2600 v1 (платформа Sandy Bridge-EP).

Предположительно в 2016-2017 годах выпуск платы прекратился и сейчас ее можно приобрести только на б/у рынке, цены зависят от вариантов либо только плата, либо комплект как было в моем случае - я приобрел за 14000р комплект с процессорами XEON E5-2695 v2 башенными кулерами и двумя плашками DDR3 по 8гб, для своего домашнего сервера.

#Форм-фактор

Плата выполнена в форм-факторе SSI EEB, это тот же EATX, разница лишь в паре милиметров, 30.5см на 33см.

Для примера сравним с платой MSI B450-A-PRO где формфактор ATX. Видно, что плата Asus больше в размере, а значит понадобится большой десктопный корпус, либо использовать стандартный стоечный корпус, если необходима установка в серверную стойку.

Минимальная цена за десктопный корпус с поддержкой EATX плат начинается от 4000 рублей, а реально удобные от ~7000р. Я брал:

• XPG Defender за 6800р. (2022 год) - максимально просторный и удобный
• Courgar Airface за ~6000р. (2023 год) - плата встает впритык, но сверху рукам удобно работать

#Питание

Питание платы сделано одним блоком: 24-ех пиновый коннектор для питания платы и 2 8-ми пиновых для процессоров.

Единый блок удобен тем что массив кАбелей питания нужно тянуть только в одно место, что значительно удобнее чем если бы коннекторы были разбросаны по разным концам платы, как это сделано на плате HP Hercules, где питание платы находится внизу, а коннекторы питания процессоров на двух противоположных сторонах платы.

В этом случае нужны удлинители питания, причем качественные чтобы выдерживали нагрузки и не перегревались. Когда-то давно я переделывал PCIe-удлинитель под CPU вот так:

А теперь купил нормальный удлинитель питания CPU:

Блоки питания 24 пин + 2 по 8 в самом простом варианте с сертификатом 80 plus не ниже бронзы на Озоне начинается от 4000 рублей, без учета вкусов на отстегивающиеся кАбели и подсветку.

В зоне VRM ничего необычного, только на втором процессоре стоит радиатор на чипах, а информации по элементам питания найти не удалось.

Для теста VRM запустим стресс-тест на Ubuntu LiveCD 20.04 при помощи утилиты stress, а консольные графики выведем при помощи s-tui.

Для начала произведем замеры температуры силовых элементов платы после длительной штатной работы сервера без нагрузки: температура элементов питания на первом CPU 43-50, а на втором 31-34.

При запуске стресс-теста на графике сразу можно увидеть повышение энергопотребления процессорами и частоты работы.

Начиная с четвертой минуты первый процессор начинают уверенно тротлить, спустя еще 3 минуты тротлинг становится стабильным.

Силовые элементы второго CPU держат напряжение стабильно и процессор не тротлит на протяжении всего теста.

Температуры на элементах питания первого CPU примерно 76-117 градусов, а на втором 47-61.

Это говорит о том, что силовые элементы питания первого процессора не справляются с пиковыми нагрузками и скорее всего повреждены, а питание второго процессора уверено выдерживает нагрузку без проседаний.

Можно было бы поставить радиатор на чипы элементов или корпусные вентиляторы могли бы снизить нагрев, однако это лишь отведение тепла созданного внутри, и наличие таких температур внутри элементов питания плохой сигнал. Но это показатели только на моей плате.

В целом, при наличии исправных силовых элементов есть шанс что плата потянет без тротлинга топовые процессоры линейки XEON E5-2600 v2.

#Процессоры

Серверная материнская плата Z9PE-D16/2L построена на базе чипсета Intel® C602 и поддерживает до двух процессоров на сокете LGA 2011 v1 семейства XEON E5-2600 v1 и v2. Самыми яркими представители процессоров линейки v2 являются 2 процессора:

• высокочастотный XEON E5-2687w v2 с 8-ю ядрами с базовой частотой 3.4GHz и Turbo Boost в 4GHz на одно ядро с высоким тепловыделением в 150W, который может стать хорошим решением для десктопа, цена на Авито около 5000р.
• 12-ти ядерный XEON E5-2697 v2 с базовой частотой 2.7GHz и Turbo Boost 3.5GHz на одно ядро, с тепловыделением 130W, цена на Авито в районе 2500р.

У каждого процессорного сокета есть светодиод, который загорается в случае проблем с процессором:

Плата может работать с одним процессором, но в этом случае будет доступно только половина слотов под оперативную память и половина слотов PCIe.

В документации к плате ограничений по процессорам не нашел, так что делаем предположение что оба топовых решения в этой линейке процессоров будут работать. Как минимум младший брат XEON E5-2695 v2, совсем немного уступающий по производительности E5-2697 v2 работает без проблем.

Для охлаждения на плате есть 2 4-ех пиновых коннектора для процессорных кулеров и 6 4-ех пиновых коннектора для корпусных вентиляторов.

Стоит обратить внимание, что в разъемы для процессорных кулеров нужно вставлять именно процессорные кулеры, иначе могут возникнуть ошибки аппаратного мониторинга.

Цены на кулеры для сокетов совместимых с LGA 2011 и максимальной рассеиваемой мощностью от 130ватт на Озоне начинаются от 1100р.

#Память

Плата содержит 16 слотов под оперативную память DDR3 с таковой частотой 1066MHz или 1333MHz. Максимальный размер одной плашки 32гб для LRDIMM, суммарный объемом всей ОЗУ может достигать 512гб.

Инструкцию по установке плашек памяти можно найти в документации.

У каждого слота есть светодиод, который горит в случае проблем с плашкой памяти:

Цена за одну плашку DD3 LRDIM объемом 32гб на Авито начинается от 1500 рублей, а на Озоне от 2000 рублей.

#Диски

Дисковая подсистема разделена на 3 составляющие.

Первая управляется AHCI контроллером, в нее входит 2 синих 6-ти гигабитных SATA порта выведеных в бок и 4 черных 3-х гигибатных, всего 6 портов. Из них можно организовать аппаратный RAID:

• Intel® RSTe для Windows
• LSI® MegaRAID для Windows и Linux

Вторая управляется SCU контроллером, в нее входит 4 белых 3-х гигибатных SATA порта с поддержкой Intel® RSTe только для Windows.

Третья управляется внешним проприетарным контроллером ASUS Pike, который нужно приобретать отдельно, он активирует 8 6-ти гигибатных SAS-портов из которых можно сделать RAID.

Стоит обратить внимание на возможные модели контроллера, это может быть вариация ASUS PIKE 2008, который в упрощенном варианте является аппаратным ключом активации SAS-портов, но использует ресурсы процессора для организации RAID. Купить такой модуль можно в районе от 2 до 5 тыс. рублей. Либо ASUS PIKE 2108, который является полноценным аппаратным RAID без использования ресурсов процессора, но стоит дороже, около 6-ти 7-ми тыс. рублей.

Кроме того на плату можно подключить NVMe накопители в разъемы PCIe через переходник, подобные переходники занимают не более 4 линий PCIe что может выдать скорость до 4гбит/с.

#Видеокарта

На плате имеется чип ASPEED® AST2300, который реализует встроенную видеокарту с 16MB видеопамяти, на задней панеле имеется VGA-выход.

Чтобы подключить внешнюю видеокарту нужно в BIOS выставить приоритет карт и если ваша видеокарта не поддерживает UEFI, то

• через встроенную видеокарту в BIOS нужно включить CSM: Advanced - Chipset Configuration - CPU IIO Bridge Configuration - VGA Priority - Offboard
• в настройках для видео указать Legacy mode: Boot - CSM parameters:
  • Launch CSM - Always
  • Launch Video OpROM policy - Legacy Only

#IPMI/BMC

IPMI реализуется при помощи отдельного чипа ASMB iKVM, в моем случае версии 6, который нужно вставить в специальный разъем.

При покупке платы стоит обратить внимание на его наличие и поинтересоваться у продавца про работоспособность, потому что более свежие версии этого модуля имеют другой разъем и не совместимы со старыми платами. Без него в BIOS не будет меню Server Management и вообще IPMI не будет работать. Купить так модуль можно от 2000-ух рублей.

На плате имеется отдельный разъем RJ45 для IPMI.

Возможности IPMI стандартные: просмотр показателей датчиков, управление кнопками включения и перезагрузки, различные встроенные модули для корпоративного доступа и KVM.

#Прочие элементы

На плате имеется 6 PCIe слотов версии 3, по 3 на каждый процессор, из них 4 слота имеют 16 линий и 2 по 8 линий, но размером как 16 линий. В любой из слотов можно вставить видеокарту.

Есть 2 внешних и один внутренний порт USB 2.0, кроме того на плате есть коннекторы для вывода USB разъемов на корпус сервера.

2 сетевых порта каждый на 1гбит с RJ45 управляются сетевой картой Intel® Ethernet Controller I350-AM2.

#Документация и обновления

После покупки я скачал документацию и обновления прошивок для BIOS и BMC, однако позже эту информацию найти не удалось, поэтому я залил данные в свое хранилище: документация, прошивка BMC, прошивка BIOS.

Позже в истории браузера нашел ссылки на скачивание прошивок BMC и BIOS, но страница ресусрсов для скачивания по плате все также недоступна.

#Цена комплекта

Подводя итог посчитаем цену домашнего сервера без дисков, мелких расходников и без изысков, получается около 30000р.

Однако, корпус и блок питания можно переиспользовать для другой материнской платы, а кулеры можно перенести на более новый сокет LGA 2011 v3, а это уже половина стоимости сборки.

#Выводы

Очевидно что плата уже устарела, но если посчитать во что может обойтись комплект, то меня устраивает цена домашнего сервера для виртуализации, для которой это железо вполне подходит. Для себя я решил что это самый нижний сегмент плат (LGA 2011 v1 и LGA 1356), которые стоит покупать для своего домашнего сервера, однако и самый дешевый с хоть каким-то запасом ресурсов на будущее.

Возможно, в следующий раз попробуем провести игровые тесты сборки на базе данной платы и посмотрим что она может выдать в качестве десктопа.