в настоящее время мы наблюдаем очень низкую скорость при копировании большого файла (более 35 ГБ), к нашему удивлению, скорость передачи начинается с очень высокой 300 МБ/с, а затем падает до 4 МБ/с через 10–20 секунд передачи. Файл передается с iSCSI LUN на локальные диски машины, также пробовали скопировать файл в /dev/null, результаты те же, в цель идет канал 1 Гбит/с, цель, коммутатор и инициатор находятся в частной VLan, MTU также установлены на 9000 на всех трех компонентах.
может ли кто-нибудь помочь нам понять, почему скорость передачи данных внезапно упала до 4 МБ/с?
Спасибо за ваше время.
Хранилище — NETAPP FAS2040, RHL 5.2, коммутаторы CISCO.
С уважением,
решение1
Ваш коммутатор, скорее всего, не может справиться с MTU 9000, поэтому ему приходится повторно передавать много пакетов. Измените MTU на значение по умолчанию 1500 и посмотрите, улучшится ли скорость.
Другие факторы включают загрузку хоста (неважно, /dev/null или нет, сетевой адаптер все равно может быть загружен) и максимальную скорость дисков хранилища. Поскольку она составляет ~4 МБ/с, я сомневаюсь, что это узкое место диска, а ваш маршрутизатор отбрасывает тонны пакетов из-за слишком высокого MTU.
решение2
Если у вас приличные коммутаторы Cisco и MTU 9000, вероятно, поддерживается, но вам нужно убедиться, что на всем пути включены крупные кадры, иначе вы увидите повторные передачи пакетов.
Проверить поддержку jumbo-кадров вашего пути довольно просто. С вашего хоста отправьте ping-запрос на ваш netapp с размером пакета 9000. Вам нужно будет отправить ping-запрос с обоих интерфейсов на оба целевых адреса (предполагая, что вы используете multi-pathing). Наконец, это не 100% гарантия, далее вам нужно проверить ваш коммутатор, чтобы убедиться, что нет фрагментированных пакетов. Я думаю, что есть счетчик, и если это так, вы не должны увидеть никаких пакетов.
Учитывая все вышесказанное, я сомневаюсь, что его большие кадры, и более того, большие кадры, вероятно, дают вам очень мало производительности по сравнению с соединением 1g. Если у вас два соединения 1g, в лучшем случае вы должны надеяться увидеть 200 - 240 МБ/с. Я не уверен, откуда взялось 300, математически говоря, это звучит почти невозможно. Однако 4 МБ/с при копировании файла размером 35 ГБ, кажется, очень мало. Это большой файл, который должен быть на 100% последовательным вводом-выводом. Я подозреваю, что это не связано с вашей SAN или коммутацией, а больше связано с вашим хостом. Что это за диск, который вы копируете? Сколько дисков, какой рейд, если есть? Есть ли BBC? Вы пробовали другой хост? Кроме того, как у вас настроено многопутевое распределение? Вы используете циклический перебор? Я подозреваю, что да, если вы достигли более 120 МБ/с.