У меня дваHPBL685c G6 блейд-серверыработает под управлением Ubuntu 15.04
- На каждом сервере установлено 4x10GB NIC
- 2x10GB NIC подключены к одномуМодуль VirtualConnect 10/10G Ethernet
- Остальные 2x10GB NIC подключены ко второмуМодуль VirtualConnect 10/10G Ethernet
- Модули виртуального соединения настроены для горизонтального стекирования и расположены в отсеках для межсоединений 1 и 2.
- Все упомянутые сетевые картывстроенные адаптеры Flex-10
Когда я настраиваю каждую из 4 10GB NIC отдельно, я могу протестировать с помощью iperf и получаю ~10Gbit/sec пропускную способность между серверами для каждой NIC. Это работает так, как и ожидалось.
- Сервер 1:http://d.pr/n/15dA5
- Сервер 2:http://d.pr/n/10pqJ
- Результаты iperf:http://d.pr/i/pscUиhttp://d.pr/i/zh2E
Теперь я пытаюсь объединить все 10 ГБ NIC на каждом сервере, используя режим объединения "balance-rr". Результаты различаются, но находятся где-то между 2,5 Гбит/сек и 5 Гбит/сек
- Сервер 1:http://d.pr/n/1aTei
- Сервер 2:http://d.pr/n/12Mqy
- Результаты iperf:http://d.pr/i/1cvh0иhttp://d.pr/i/1eOgU
Я использую ту же конфигурацию для объединения 2X1GB NIC на этих же серверах, объединение 2X1GB NIC дает полосу пропускания ~2Gbit/sec при тестировании с iperf. Эти 2 NIC не подключены к домену Virtual Connect, а вместо этого подключены каждый к другомуБлейд-коммутатор Cisco Catalyst 3120
- Сервер 1:http://d.pr/n/1kk4f
- Сервер 2:http://d.pr/n/fbVJ
- Результаты iperf:http://d.pr/i/10N4qиhttp://d.pr/i/1a0z3
Итак, мой вопрос: почему объединение 4X10GB NIC с помощью balance-rr приводит к меньшей производительности, чем использование одного NIC. Я бы ожидал пропускную способность ~40Gbit/sec минус накладные расходы TCP/Bonding, что соответствовало бы моим результатам при объединении 2X1GB и получении ~2GB при тестировании.
Я пробовал это с разными режимами связывания, и другие дают около ~10Gbit/sec пропускной способности при связывании. Все еще не идеально, но лучше, чем результаты balance-rr.
решение1
Похоже, что модули Virtual Connect не поддерживают режим связи 0 (balance-rr) в развертываниях Linux.
От службы поддержки HP:http://h20564.www2.hp.com/hpsc/doc/public/display?docId=emr_na-c02957870
Информация Неподдерживаемые режимы связывания в среде HP Virtual Connect могут привести к потере пакетов и/или проблемам с производительностью.
Подробности HP Virtual Connect поддерживает режимы связывания 1, 5 или 6. VC не поддерживает режимы 0 (циклический перебор) или 7 (балансировка нагрузки с помощью коммутатора).
Режим 1:Активный/резервный. Политика активного-резервного: активен только один подчиненный в связке. Другой подчиненный становится активным, если и только если активный подчиненный выходит из строя. MAC-адрес связи виден снаружи только на одном порту (сетевом адаптере), чтобы избежать путаницы с коммутатором.
Режим 5:Адаптивная балансировка нагрузки передачи: связывание каналов, не требующее специальной поддержки коммутатора. Исходящий трафик распределяется в соответствии с текущей нагрузкой (вычисляемой относительно скорости) на каждом подчиненном устройстве. Входящий трафик принимается текущим подчиненным устройством. Если принимающее подчиненное устройство выходит из строя, другое подчиненное устройство берет на себя MAC-адрес отказавшего принимающего подчиненного устройства.
Режим 6:Адаптивная балансировка нагрузки: включает в себя balance-tlb плюс балансировку нагрузки приема (rlb) для трафика IPV4 и не требует специальной поддержки коммутатора. Балансировка нагрузки приема достигается путем согласования ARP.