- Использование недорогих 10/40 Гбит/с сетевых адаптеров с интерфейсом HP FlexibleLOM
- Hp ethernet 1gb 4 port 331flr linux
- Настройка совместимости между коммутаторами CE и серверами с использованием сетевых адаптеров HP Ethernet 1Gb 4-port 331T (режим IEEE 802.3ad)
- Поддерживаемые продукты и версии
- Требования к сети
- План конфигурации
- Procedure
- Проверка конфигурации
Использование недорогих 10/40 Гбит/с сетевых адаптеров с интерфейсом HP FlexibleLOM
Для соединения пары домашних серверов мне захотелось выйти за пределы привычных 1Гбит/с и при этом сильно не переплачивать за сетевое оборудование. На известном сайте были приобретены недорогие серверные адаптеры HP 764285-B21, по сути являющиеся ОЕМ аналогами Mellanox ConnectX-3 Pro, и QSFP+ медный кабель (DAC). Эти двухпортовые адаптеры могут работать на скоростях 10 и 40 Гбит/с в режиме Ethernet портов и до 56 Гбит/с в режиме InfiniBand. Низкая цена на вторичном рынке обусловлена нестандартным интерфейсом HP FlexibleLOM, разъем которого хотя и похож на стандартный PCIe x8, но имеет иное расположение линий PCIe и поэтому может использоваться только в совместимых серверах HP. Тем не менее выход есть — Tobias Schramm спроектировал специальный адаптер для установки карт HP FlexibleLOM в обычный слот PCIe. Я заказал платы адаптера на jlcpcb.com и 8х коннекторы на алиэкспресс. После монтажа коннектора на плату адаптера и установки всей конструкции в слот она успешно определилась как устройство на шине PCIe:
Однако после установки Ethernet драйвера Mellanox (я использовал Ubuntu 16.04 и 20.04, предполагаю для других версий и для Windows порядок действий будет аналогичен) Ethernet интерфейсы не появились в системе. Это означало, что драйвер по какой-либо причине не смог распознать адаптер и скорее всего потребуется перепрошивка. Изучая вывод dmesg можно примерно установить причину ошибки, в моём случае в прошивке адаптеров была включена опция SR-IOV, несовместимая с используемой материнской платой.
Для перепрошивки адаптера скачиваем и распаковываем Mellanox firmware tools для вашей ОС. Установку производим с ключом —oem (sudo ./install —oem), это позволит сразу установить дополнительные утилиты для сборки новой прошивки.
После установки MFT определяем текущую версию прошивки:
. и делаем бэкап текущей прошивки и конфигурации адаптера:
Изучив раздел [HCA] файла конфигурации находим требуемый параметр sriov_en и, предварительно скопировав конфигурацию в новый файл new_config.ini, выставляем ему нулевое значение. Также проверяем, что eth_xfi_en равен единице — это позволит активировать Ethernet режим портов:
Далее нам потребуется исходный файл прошивки .mlx для нашего чипсета (в моём случае это ConnectX-3 Pro), как выяснилось раньше их можно было свободно скачать с сайта Mellanox, однако сейчас лавочку прикрыли, оставив только готовые бинарные прошивки, которые, к сожалению, нам не подходят. В результате поисков мне удалось найти прямую ссылку на скачивание исходной прошивки предыдущей версии 2.36:
Распаковываем архив и извлекаем искомый fw-ConnectX3Pro-rel.mlx, затем собираем новую прошивку с помощью mlxburn:
На всякий случай проверяем новую прошивку:
. и затем прошиваем в адаптер:
После перепрошивки адаптера обязательно перезагружаем сервер.
В моём случае после всех вышеперечисленных манипуляций драйвер mlx4_core успешно распознал адаптер и сетевые интерфейсы появились в системе. Для ускорения процесса загрузки я дополнительно отключил boot options:
. и удалил BootROM:
Кроме того, если не планируется использование интерфейсов InfiniBand, можно принудительно перевести оба порта в режим Ethernet:
Источник
Hp ethernet 1gb 4 port 331flr linux
Продолжая просмотр сайта и(или) нажимая X , я соглашаюсь с использованием файлов cookie владельцем сайта в соответствии с Политикой в отношении файлов cookie в том числе на передачу данных, указанных в Политике, третьим лицам (статистическим службам сети Интернет), в соответствии с Пользовательским соглашением >X
Your browser version is too early. Some functions of the website may be unavailable. To obtain better user experience, upgrade the browser to the latest version.
Продукты, решения и услуги для организаций
Примеры многофункциональной конфигурации
- Конфигурирование сети центров обработки данных 3 уровня на основе стека
- Развертывание VRRP в сети центра обработки данных с трехуровневой архитектурой
- Настройка сети центров обработки данных 2 уровня на основе стека
- Развертывание VRRP в сети центра обработки данных с двухуровневой архитектурой
- Настройка CSS и VS для создания сети центра обработки данных
- Настройка сети центра данных на базе VS и VRRP
- Пример настройки VXLAN с централизованными шлюзами в режиме BGP EVPN
- Пример настройки VXLAN в режиме распределенного шлюза с использованием BGP EVPN
- Пример настройки E2E VXLAN для реализации DCI
- Пример настройки хэндовера VLAN для реализации DCI
- Настройка VXLAN с тремя сегментами для нескольких AS для реализации совместимости на уровне 3
- Пример настройки VXLAN с тремя сегментами внутри AS для реализации совместимости на уровне 3
- Пример настройки VXLAN с тремя сегментами для реализации совместимости на уровне 2 (локальный режим VNI)
- Пример настройки VXLAN с тремя сегментами для реализации взаимодействия на уровне 2 (Режим сопоставления VNI)
- Настройка системы SVF фиксированных коммутаторов для создания сети центра обработки данных (CE7800 и 6800 + CE6800 и 5800)
- Настройка M-LAG и прозрачных брандмауэров
- Настройка M-LAG, VS и брандмауэров в режиме байпаса
- Настройка M-LAG и VRRP через центры обработки данных
- Развертывание сети FCoE на основе SVF фиксированных коммутаторов (CE6800)
Примеры конфигурации в зависимости от функции
Основные конфигурации
- Использование BIOS/BootLoader для обновления системного программного обеспечения
- Использование BIOS/BootLoader для резервного копирования системных файлов
- Вход на устройство через Telnet на основе аутентификации RADIUS
- Пример настройки ZTP
Виртуализация
- Настройка стека (CE12800)
- Настройка системы SVF фиксированных коммутаторов
- Настройка VS
- Пример настройки коммутатора серии CE в качестве агента ретрансляции DAD для стека коммутаторов серии S
- Пример настройки коммутатора серии S как агента ретрансляции DAD для стека коммутаторов серии CE
Управление устройствами
- Пример настройки синхронизации часов в гибридной сети (CE12800E)
- Пример настройки синхронизации часов в гибридной сети (на коммутаторе, кроме CE12800E)
Ethernet
- Настройка присвоения VLAN на базе интерфейсов
- Настройка ERPS с несколькими экземплярами
IP-сервис
- Пример настройки агента ретрансляции DHCP
Многоадресная рассылка IP
- Пример настройки PIM для Anycast RP
Надежность
- Настройка BFD для статических маршрутов
- Настройка динамического BFD для OSPF
- Настройка динамического BFD для IS-IS
- Настройка MSTP и VRRP для реализации избыточности
- Настройка MSTP и VRRP для реализации балансировки нагрузки
Управление сетью
- Запрос информации и поддержка сети через LLDP
- Настройка NTP для синхронизации времени
- Пример настройки экспорта исходной статистики
- Пример настройки sFlow
- Пример настройки локального зеркального отображения портов
- Пример настройки зеркалирования локального трафика
PBR
- Настройка PBR
Политика маршрутизации
- Настройка политики маршрутизации
VPN
- Настройка объекта VPN для передачи пакетов услуг
- Пример настройки статических маршрутов для реализации соединений на базе маршрутов между публичными и частными сетями
FCoE
- Пример настройки FCF и FSB (интерфейсы FCoE)
Безопасность
- Использование пользовательских списков ACL для фильтрации указанных пакетов
- Настройка защиты от локальной атаки
- Настройка безопасности ARP (ARP Anti-Spoofing)
- Настройка безопасности ARP (ARP Anti-Flood)
- Настройка ограничения трафика
- Настройка управления штормом
Случаи функциональной совместимости
Взаимодействие между коммутаторами CE и серверами
- Настройка совместимости между коммутаторами CE и серверами с использованием сетевых адаптеров Intel(R) Server Adapter I340 (режим IEEE 802.3ad)
- Настройка совместимости между коммутаторами CE и серверами с использованием сетевого адаптера Intel(R) Server Adapter I340 (режим AFT)
- Настройка совместимости между коммутаторами CE и серверами с использованием сетевых адаптеров HP Ethernet 1Gb 4-port 331T (режим IEEE 802.3ad)
- Настройка совместимости между коммутаторами CE и серверами с помощью сетевых адаптеров HP Ethernet 1Gb 4-port 331T (режим NFT)
- Настройка совместимости между коммутаторами CE и серверами с использованием сетевых адаптеров Ethernet Mellanox ConnectX (режим IEEE 802.3ad)
- Настройка совместимости между коммутаторами CE и серверами с использованием адаптеров сетевого адаптера Ethernet Mellanox ConnectX (режим отказоустойчивости)
- Настройка совместимости между коммутаторами CE и серверами с использованием сетевых адаптеров Broadcom (режим IEEE 802.3ad)
- Пример подключения коммутатора CE-серии к серверу Linux, работающему под управлением SUSE11 SP3
- Настройка совместимости между коммутаторами CE и eSight
- Настройка совместимости между коммутатором CE и eDesk
Протоколы или случаи замены оборудования
- Межсетевое взаимодействие агрегации каналов LACP или руководство по замене
- Использование MSTP для замены или взаимодействия с Cisco PVST+
- Использование VRRP для замены HSRP на коммутаторе серии CE
- Руководство по замене коммутаторов в стеке
- Замена коммутаторов серии S на коммутаторы серии CE
Настройка совместимости между коммутаторами CE и серверами с использованием сетевых адаптеров HP Ethernet 1Gb 4-port 331T (режим IEEE 802.3ad)
Поддерживаемые продукты и версии
Этот пример относится к коммутаторам серии CE в V100R001C00SPC200 или более поздних версиях.
Требования к сети
Как показано на Figure 3-4, сервер использует группу сетевых адаптеров, состоящую из двух сетевых адаптеров HP Ethernet 1Gb 4-port 331T, которые подключаются к различным интерфейсам SwitchA. Требуется, чтобы агрегация каналов была настроена на соединения между коммутатором серии CE и сервером, чтобы улучшить пропускную способность интерфейса и трафик обслуживания баланса нагрузки.
План конфигурации
Режим балансировки нагрузки применяется к сценариям, в которых сервер подключается к коммутатору или системе стека.
Procedure
- Настройте Eth-Trunk и VLAN на коммутаторе серии CE.
- Выберите Start >Control Panel >Network and Sharing Center. Нажмите Change adapter settings. Отобразится страница Network Connections .
- Щелкните правой кнопкой мыши сетевой адаптер, который необходимо добавить в группу сетевых адаптеров, и нажмите Properties. Откроется окно Local Area Connection Properties .
- Перейдите на вкладку Network . В поле This connection uses the following items: дважды нажмите HP Network Configuration Utility . Откроется окно HP Network Configuration Utility Properties .
- Выберите агрегированные интерфейсы и нажмите Team. Откроется окно Team Properties . Настройте свойства группы сетевых адаптеров.
- Перейдите на вкладку Teaming Controls , (необязательно), переименуйте группу сетевых адаптеров, например WF, в текстовое поле Team Name, установите тип группы сетевых адаптеров в 802.3ad Dynamic with Fault Tolerance в раскрывающемся списке Team Type Selection и нажмите OK.
- В окне HP Network Configuration Utility Properties нажмите Properties в правом нижнем углу, чтобы настроить параметры по умолчанию, такие как VLAN. Можете изменить настройки по умолчанию на основе реальных требований.
- Выберите Start >Control Panel >Network and Sharing Center. Нажмите Change adapter settings. Отобразится страница Network Connections . Щелкните правой кнопкой мыши созданную группу сетевых адаптеров и выберите Properties.
- Перейдите на вкладку Network и дважды щелкните Internet Protocol Version 4 (TCP/IPv4), чтобы настроить IP-адрес группы сетевых адаптеров.
- В окне Internet Protocol Version 4 (TCP/IPv4) Properties выберите режим получения IP-адреса и нажмите OK.
Проверка конфигурации
- Запустите команду display eth-trunk [ trunk-id ] в любом виде, чтобы проверить статус Eth-Trunk. Проверьте правильность состояния Eth-Trunk на основе ключевой информации в Table 3-9.
up: указывает, что Eth-Trunk в состоянии Up.
Количество портов Up в Trunk
Количество интерфейсов-участников Up в Eth-Trunk. Если это значение совпадает с количеством интерфейсов-участников, то Eth-Trunk является нормальным.
Selected: указывает, что интерфейс-участник выбирается как активный интерфейс.
Вес интерфейса-участника. Если все интерфейсы-участники имеют одинаковый вес, Eth-Trunk является нормальным.
Проверьте свойства созданной группы сетевых адаптеров WF. На странице Network Connections щелкните правой кнопкой мыши созданную группу сетевых адаптеров и выберите Properties. В появившемся окне нажмите Config и перейдите на вкладку Settings . Проверьте статус группы сетевых адаптеров на основе информации в Table 3-10.
Table 3-10 Статус группы сетевых адаптеров
Отображается настроенный тип. Адаптеры в группе Отображаются настраиваемые сетевые адаптеры. Источник |
---|