Я строю небольшой центр обработки данных с нуля и рассматриваю 10GbE. Мне нужны советы по этому решению.
Я сравнил Infiniband, FC, 10GbE и LACP с GigE, и в итоге 10GbE оказался лучшим решением на данный момент.
Говоря о центре обработки данных: в нем будет одно или два хранилища (два на случай отказа) и три машины 1U, на которых будет запущен какой-нибудь гипервизор (мой любимый — XenServer). Виртуальные машины будут в хранилище, поэтому гипервизоры будут загружаться из хранилища, или я поставлю несколько небольших SSD в машины 1U, чтобы просто загрузить гипервизор.
Итак, проблема в следующем: я немного запутался в том, что мне нужно купить, чтобы сделать сеть. Я видел несколько дорогих коммутаторов, таких как Cisco Nexus 5000/7000 с множеством функций, но я не знаю, действительно ли мне это нужно, ребята.
У меня нет FC, так что безопасно ли покупать отдельные коммутаторы 10GbE без технологий "конвергентных сетей"? Или мне стоит взять один из них, чтобы запустить FCoE?
Еще один вопрос: iSCSI через 10GbE будет лучше, чем FCoE? (Я считаю, что FCoE лучше, потому что мы не используем стек IP в FCoE).
Заранее спасибо, и я действительно ценю ваши мнения.
решение1
Я с Томом! IB (даже древний) дешевле и быстрее по сравнению с 10 GbE.
Люди получают хорошие цифры от, по сути, дешевого оборудования:
http://forums.servethehome.com/networking/1758-$67-ddr-infiniband-windows-1-920mb-s-43k-iops.html
Проблема в том, что TCP-over-IB отстой (убивает производительность, добавляя огромную задержку), а собственная поддержка IB очень ограничена. SMB Direct с Windows Server 2012 R2 великолепен (когда работает).
решение2
Решение о выборе технологий следует принимать на основе оценки ваших потребностей/бюджета/опыта. Очевидно, что ваш выбор во многом зависит от того, какой тип оборудования для хранения данных у вас есть или вы собираетесь приобрести, а также от вашей сетевой инфраструктуры. Традиционно SAN использовали оптоволоконный канал из-за его высокой скорости, но с появлением 10GbE Ethernet стал жизнеспособным претендентом. В зависимости от уровня использования вашего центра обработки данных вы даже можете обойтись использованием 1GbE и MPIO с возможностью масштабирования позже. Большинство крупных поставщиков предоставят вам возможность выбора между предложениями iSCSI, FCoE и FC, и выбор между ними должен основываться на вашей текущей (или желаемой) инфраструктуре, принимая во внимание опыт вашего персонала.
Я не могу комментировать использование Infiniband, поскольку сам никогда им не пользовался, за исключением того, что его использование менее распространено, чем эти другие технологии, и, соответственно, выбор поставщиков меньше. Побочный риск заключается в поиске персонала, который может поддерживать менее распространенное оборудование.
Лично я, если у вас (и вашего персонала) нет опыта работы с Fibre Channel (или существующей инфраструктуры), я бы рекомендовал выбрать предложение iSCSI, так как ваша кривая обучения (и, возможно, ваши затраты на внедрение) будут намного ниже. Большинство людей забывают, что затраты на оборудование ничтожны по сравнению с рабочей силой. Я трачу в десять раз больше на персонал, чем на свой бюджет на оборудование, поэтому, если какой-то тип оборудования немного дороже, но хорошо понятен моим сотрудникам (или мне легче найти кого-то, кто будет с ним работать), это становится очевидным выбором. Если, конечно, вы не ищете новую возможность обучения. :P
решение3
FCoE имеет смысл, если у вас есть существующая инфраструктура FC и вам нужно передать FC LUN на ваши новые серверы, а у них нет FC HBA (или у вас заканчиваются лицензированные порты FC на ваших коммутаторах FC — это то же самое). Поэтому вы берете 10 GbE и запускаете FCoE, чтобы сократить расходы на оборудование FC. Создание FCoE с нуля бессмысленно, запускайте iSCSI (или SMB Direct с RDMA, если вы на «темной стороне») на 10 GbE и будьте счастливы. С последними и приличными многогигагерцовыми и многоядерными процессорами, а также с TCP и iSCSI, по крайней мере частично выгруженными на NIC ASIC, разницы между storage-over-TCP и storage-over-raw-Ethernet нет. Удачи, мой друг!
решение4
Почему?
Учитывая высокие цены и низкую пропускную способность, я бы всегда предпочел Infiniband вместо 10g. Плюс исходящий канал на базе 1g - если только у вас пропускная способность восходящего канала больше 1g.
Из-за других ограничений я использую 10g на некоторых серверах (в основном - почти все 1g и Netgear TXS 752, который мы используем как магистраль, имеет 4x10g spf+) и ценовой фактор сетевых карт - упс. По сравнению с гораздо более быстрым Infiniband.