Я собрал ESX-бокс для лучшего управления, но его производительность — это вопрос «какого черта?». Я новичок в работе с ESX, поэтому ищу подробный список литературы, которая поможет мне разобраться с этим и вернуться к программированию на .NET.
Текущая система хранения:
Мы используем Raid5+Hotspare (8x500 ГБ шпинделей) на PERC6i на Dell 2910. Из-за ограничений ESX PERC отображает хранилище как 1x2 ТБ + 1x800 ГБ "разделы". Я вообще не уверен в конфигурации установки (stride / stripe / ???).
Наши приложения
У нас есть сервер SBS, а также небольшой (2x50 ГБ, но растущий на 10 ГБ/месяц) сервер баз данных...
Наше приложение, работающее на виртуальной машине базы данных, не использует ресурсы ЦП и ввода-вывода; это упражнение по перетасовке базы данных в сочетании с большим количеством вычислений с данными (над улучшением производительности мне и предстоит работать)...
Проблема производительности
Когда я делаю резервное копирование, восстановление или, что еще хуже (копирую резервную копию с одной виртуальной машины на другую, чтобы переместить ее в виртуальную машину QA), вся система замедляется до минимума (даже «несвязанные» виртуальные машины).
Изначально я думал, что ситуация с DASD будет вполне приемлемой, поскольку у вас есть пропускная способность PCI-x, но замедление работы всей системы убивает производительность.
Вопросы
- Что мне следует сделать, чтобы принять разумное решение относительно NAS, RAID, SAN или DASD?
- Есть ли в системе хранения благоприятные/неблагоприятные места?
- Можно ли использовать карту SSD PCI-X в ESX для tempdb? Хорошая/плохая идея?
- Есть ли способ «расшарить» какой-нибудь образ в режиме копирования при записи? Большая часть «резервного копирования-восстановления» заключается в «размещении чистого образа на dev-боксах»; если бы я мог заставить их «расшарить» главный образ, «большую копию» (2x50 ГБ) нужно было бы делать только раз в неделю, а не раз в неделю на dev... [производительность выполнения не имеет значения для dev-боксов, но резервное копирование/копирование/восстановление убивает производство, SBS и все остальное на боксе]
решение1
Вы не предоставляете подробную информацию о спецификации сервера ESX — количество ЦП, объем ОЗУ, количество запущенных ВМ, их конфигурация и ожидаемые требования к производительности, поэтому я предполагаю, что на данный момент все в порядке, и что проблема, с которой вы столкнулись, определенно связана только с вводом-выводом хранилища. Как минимум, у вас должно быть достаточно ядер и ОЗУ для запуска всех ваших активных ВМ без конфликтов и достаточного запаса, чтобы обеспечить достаточную емкость для гипервизора, чтобы он мог делать все необходимое, не останавливая ВМ или не заставляя их выгружать страницы на диск. Также, как упомянул Фредерик, у вас должны быть установлены VMware Tools, и если вы можете использовать паравиртуализированный адаптер SCSI для ваших дисков с данными, это поможет.
Вопрос [1] - DAS\RAID\NAS\SAN
Вам необходимо обеспечить больше ввода-вывода и больше независимого ввода-вывода для разделения рабочих нагрузок друг от друга. Независимо от того, выбираете ли вы NAS\DAS\SAN, это потребует настройки отдельных RAID-пакетов, предпочтительно в RAID 10. Для вашего стиля ввода-вывода рекомендуется использовать преимущества производительности RAID 10 по сравнению с RAID 5 (удвоение производительности ввода-вывода записи для того же количества операций). Вы хотите убедиться, что основная виртуальная машина с интенсивным вводом-выводом работает из отдельного хранилища данных в системе контроля качества, особенно если процедуры контроля качества, скорее всего, серьезно нагрузят хранилище, что, как я предполагаю, и произойдет. Разбиение вашего текущего пакета из 8 дисков на 2 отдельных пакета RAID 10 по 4 диска будет очень полезным. Изменение существующего пакета RAID 5 из 8 дисков на RAID 10 и добавление отдельного независимого хранилища для системы контроля качества будет лучшим вариантом. Вы можете сделать все это с помощью напрямую подключенного хранилища, но производительность будет лучше масштабироваться с SAN и высокопроизводительными системами NAS. Однако они также будут стоить намного дороже.
Вопрос [2] Удачные места/неудобные места в существующем хранилище
У вас достаточно дисков для запуска около 10-15 средних серверов Windows (средние из которых — файлы\печать\DC's\low IO app boxs, а не SQL, SBS или Exchange), но недостаточно для запуска более чем одной действительно интенсивной IO машины в текущей настройке. Уродство в том, что у вас есть один RAID 5 пакет для всего. Если ваши существующие диски — SATA, то это нехорошо, так как они, скорее всего, будут в лучшем случае 7200 об/мин, переход на диски 10kSAS более или менее удвоит производительность при том же числе шпинделей, а диски 15k ее утроят.
Вопрос[3] Использование SSD-накопителей PCI-X
Насколько мне известно, ESX не поддерживает PCI-X\PCI-e SSD, но если поддерживает, то это помогло бы в качестве расположения для любого из ваших томов VM с интенсивным вводом-выводом. Что касается запуска tempDB, то в идеале, да, вы должны поместить его на VMDK, который находится на быстром хранилище, но сначала вы должны убедиться, что у VM столько оперативной памяти, сколько она может использовать с выгодой.
Вопрос [4] Параметры общего изображения
VMware Lab Manager сделает это за вас, но для этого требуется полностью лицензированная инфраструктура VI и лицензия на CPU для каждого сервера в вашем кластере. Это поможет с управлением и имеет некоторые потенциальные положительные стороны для вашего варианта использования копии QA, но также возможно, что это не поможет решить проблемы производительности - если система QA работает на пределе возможностей ввода-вывода, то подход Copy-On-Write\delta copy, используемый для предоставления нескольких систем из одного базового образа, не решит ваши общие проблемы производительности и, вероятно, усугубит их. Однако это значительно упростит и ускорит создание копий.
решение2
Ваша проблема не связана с DAS или NAS, а с CRAP DISCS. Многие виртуальные машины имеют гораздо больше операций ввода-вывода, чем обычный компьютер. Использование БЫСТРЫХ дисков здесь обязательно, если только у вас действительно не очень низкие показатели использования.
- Вам подойдет небольшая установка с системой DAS, если у вас есть хороший RAID-контроллер (линейка Adaptec) и достаточное количество дисков.
- Преимущество SAN (не NAS) заключается в том, что его можно совместно использовать несколькими устройствами (отказоустойчивость, кластеризация и т. д.)
Но как бы там ни было, вам нужно МНОГО возможных IO. Правила таковы:
- Виртуальные машины НЕ должны использовать файл подкачки. Подкачка нагружает диск, а диски в любом случае являются вашим жестким ограничением.
- RAID 5 намного медленнее, чем RAID 10 ;)
- Диски на 500 ГБ, скорее всего, имеют максимальную скорость 7200 об/мин — и это медленно. Минимальная скорость 10 000 об/мин, инфраструктура SAS. У меня действительно хороший опыт с RAID 10 из 300 ГБ Velociraptor (хотя новые 600 ГБ немного быстрее).
Вам действительно нужно МНОГО емкости ввода-вывода. Ваш RAID 5 лишь немного быстрее двухдискового (если вообще быстрее — мне пришлось бы посчитать), а одиночный диск уже не совсем быстр для определенных сценариев. Результат — ваша настройка ввода-вывода просто умирает. Нормально.
Если вы установите RAID 10 из 8 дисков (500 ГБ, то есть 2 ТБ), вы получите НАМНОГО большую емкость независимого ввода-вывода, чем при RAID 5.
решение3
(1) и (2): если вы используете локальное хранилище, вы не сможете использовать все функции VMware (ha, ft, vmotion и т. д.). Я использую iSCSI на EQL SAN: производительность действительно плохая из-за плохой реализации iSCSI (около 2 Гбит/с при записи) и используемого raid6. С raid10 производительность ввода-вывода должна быть действительно лучше. Так что, если у вас есть деньги, используйте FC SAN... или ждите FCoE SAN :) с raid10... По моему мнению, для интенсивного ввода-вывода не используйте недорогие SAN...
(3) Я не знаю.
Вы пробовали настроить гостевые инструменты, чтобы уменьшить замедление? У нас была та же проблема с базой данных Oracle, и настройка гостевых инструментов действительно увеличила производительность. Мы также использовали паравиртуализированные драйверы SCSI в нашем RHEL, чтобы получить больше производительности!
Фредерик
решение4
Может ли это быть вашей проблемой?
В любом случае обновите все биосы. Диск sata или sas? Судя по пробелу, я бы сказал sata... не самые быстрые диски. Если вам нужна лучшая производительность, попробуйте raid 10 вместо 5. NAS, SAN и DAS — это одно... RAID — основа почти для всех из них. Вкратце:
NAS: экспорт файловой системы (nfs, smb)
SAN: экспорт блочного устройства (iscsi, lun, aoe)
DAS: все устройства хранения данных, подключенные напрямую к серверу (scsi, esata)
RAID: способ повысить доступность системы в случае сбоя какого-либо диска.