Где у меня узкое место: оперативная память, процессор или диск?

Question

У меня 32-ядерная, 64-поточная система с 128 ГБ оперативной памяти и внутренним SSD-накопителем.

Я запускаю 64 задания по анализу данных/моделированию параллельно, каждое из которых загружает 1 ГБ с диска и выполняется около 5–10 минут.

Я хочу узнать, является ли мое узкое место процессором, диском или оперативной памятью. У меня есть вывод atop/htop/iotop, но я не знаю, как его правильно интерпретировать. Можете ли вы дать мне предположение о том, где у меня узкое место?

Я не думаю, что диск является узким местом (это мое любительское прочтение iotop), но я не знаю, как прочитать atop/htop и определить, является ли узким местом оперативная память (например, количество каналов для пропускной способности, задержка) или процессор.

поверх вывода:https://i.stack.imgur.com/5fv35.jpg

вывод htop:https://i.stack.imgur.com/kmLgC.jpg

Вывод iotop:https://i.stack.imgur.com/o6Ezk.jpg

Примечание: Перекресток размещен наhttps://www.reddit.com/r/linuxquestions/comments/eo4s71/interpreting_atophtopiotop_output/

Answer 1

Использование ОЗУ составляет ~73%, при этом пространство подкачки почти не используется, и все ваши ядра, похоже, загружены на максимум. Так что размер ОЗУ и скорость в порядке, а узким местом, безусловно, является ЦП.

Исходя из вашего описания задачи, скорость диска не обязательно является узким местом, поскольку она не используется постоянно, как ЦП и ОЗУ. iotopпоказывает скорость диска 14 МБ/с, но, учитывая, что у вас SSD, она должна быть намного быстрее, особенно при чтении. Я предполагаю, что скриншот не был сделан при пиковой загрузке диска, в противном случае вам стоит это проверить.