Предполагая, что бесплатный совет по пространству дляЗЕВОне будет отличаться от рекомендаций для других современных реализаций ZFS…
Вопрос
Прости, чтопроцентыилисуммысвободного места рекомендуется для жестких дисков следующих размеров?
- 640 ГБ
- 2 ТБ
Мысли
Стандартным ответом для современных реализаций ZFS может быть «не более 96 процентов заполнено». Однако если применить это к (скажем) однодисковому набору данных объемом 640 ГБ, где некоторые из файлов, наиболее часто используемых (VirtualBox),больше 15 ГБ каждый, то я думаю, что блоки для этих файлов станутсубоптимально распространенныйпо тарелкам с примерно26 ГБ свободно.
Я читал, что в большинстве случаев фрагментация и дефрагментация не должны быть проблемой для ZFS. Тем не менее, мне нравится мысленная картина большинства фрагментов большого .vdi, находящихся в разумной близости друг к другу. (Неужели особенности ZFS делают это желание близости слишком старомодным?)
Примечание: может возникнуть вопрос, как оптимизировать производительность (для больших файлов в наборе данных с относительно небольшим свободным пространством)послепорог 'сломан'. Если он возникнет, я буду держать его отдельно.
Фон
На 640 ГБ StoreJet Transcend (код продукта 0x2329) в прошлом я, вероятно, превысил рекомендуемый порог. В настоящее время самый большой файл составляет около 17 ГБ –
– и я сомневаюсь, что какой-либо файл .vdi или другой на этом диске вырастет больше 40 ГБ. (Не обращайте внимания на фиолетовые массы, это пакеты по 8 МБ)группафайлы.)
Без HFS Plus: порогидвадцать, десять и пять процентов, которые я связываю с файловой системой Mobile Time Machine, не должны применяться.
В настоящее время я использую ZEVO Community Edition 1.1.1 с Mountain Lion, OS X 10.8.2, но мне бы хотелось, чтобы ответы не были слишком привязаны к версии.
Ссылки, хронологический порядок
Распределение блоков ZFS (блог Джеффа Бонвика)(2006-11-04)
Карты космоса (блог Джеффа Бонвика)(13.09.2007)
Удвоение производительности обмена (Bizarre ! Вы читаете Bizarre ?)(2010-03-11)
… Итак, чтобы решить эту проблему, в релизе программного обеспечения 2010/Q1 было сделано много шагов. Самое важное: мы увеличили порог, при котором мы переходили с «первого подходящего» (быстро) на «наилучший подходящий» (плотно заполнять) с 70% до 96%. С дисками TB каждый блок имеет размер не менее 5 ГБ, а 4% — это все еще 200 МБ места, и нет необходимости делать что-либо радикальное до этого. Это дало нам самый большой толчок. Во-вторых, вместо того, чтобы пытаться повторно использовать те же основные блоки, пока он не даст сбой распределения, мы решили прекратить давать основному блоку эту преимущественную угрозу, как только наибольшее распределение, которое может быть выполнено блоком, уменьшится до 128 КБ (
metaslab_df_alloc_threshold). В этот момент мы были готовы переключиться на другой блок, в котором было больше свободного места. Мы также решили уменьшить бонус SMO. Раньше блок, который был пуст на 50%, был предпочтительнее, чем блоки, которые никогда не использовались. Чтобы способствовать большему агрегированию записей, мы снизили порог до 33% пустых. Это означает, что случайная рабочая нагрузка записи теперь распространяется на большее количество слэбов, где каждый из них будет иметь больше свободного пространства, что приведет к большему агрегированию записей. Наконец, мы также увидели, что загрузка слэбов способствует снижению производительности, и реализовали механизм предварительной выборки слэбов, чтобы сократить время простоя, связанное с этой операцией.Сочетание всех этих изменений приводит к 50% улучшению OLTP и 70% снижению изменчивости от запуска к запуску…
Улучшения OLTP в Sun Storage 7000 2010.Q1 (профили производительности)(2010-03-11)
Alasdair на все » ZFS работаетДействительномедленно, когда использование свободного диска превышает 80% (2010-07-18) где комментарии включают:
… OpenSolaris изменил это в версии onnv 11146 …
[CFT] Улучшен код метасляба ZFS (более высокая скорость записи)(2010-08-22)
решение1
Восемьдесят процентов заполнено (двадцать процентов свободно)
http://www.ustream.tv/recorded/25859777слышимый около 33:00 на временной шкале, в ответ наДело Эрика Спроула:
… продукт Delphix … для пользователя было восемьдесят процентов. Так что, я имею в виду, многое зависит от рабочей нагрузки, но мы бы определенно … Я думаю, четыре процента были быэкстремальныйдля любого …
… Ипроизводительность будет отстойной.
- звучит какМэтт Аренс(модератор) на Illumos 2012День ЗФС.
Плюс: недавно мною заново открытое, два года назад:
Под#8 Оставьте достаточно свободного места:
… Как правило, не позволяйте пулу заполняться более чем на 80% от его емкости. Как только он достигнет этой точки, вам следует начать добавлять больше дисков, чтобы у ZFS было достаточно свободных блоков для выбора в последовательном порядке записи.
решение2
Заполнено примерно на восемьдесят пять процентов (свободно пятнадцать процентов)
http://www.ustream.tv/recorded/25859777около 32:20 на временной шкале:
… четыре процента свободно? … Это кажется … немного близко к краю. Мы стараемся нацелиться на восемьдесят пять процентов заполненности, прежде чем начнем думать о расширении мощности или о том, как что-то сделать, чтобы снять это давление … мы довольно консервативны …
Затем около 33:20, в ответ навосемьдесят процентов комментариев:
Да, если бы вы попытались сделатьэтотв системе, заполненной на девяносто шесть процентов, у вас, вероятно, закончится место до того, как вы закончите то, что делаете… потому что место будет накапливаться; а наличие этого снимка будет удерживать данные, которые в противном случае были бы освобождены обратно в пул в ходе обычной деятельности…
… Ипроизводительность будет отстойной. Поскольку ZFS работает на slab-аллокаторе… если вы действительно переполнены, вам придется тратить дополнительное время на поиск мест для размещения вещей разных размеров, и это становится очень медленным.
–Эрик Спроулна выставке Illumos 2012День ЗФС.