☰

df сильно отличается от du, похоже, что служба nfsd имеет значение

tag-icon • tag-icon centos7 xfs df du
df сильно отличается от du, похоже, что служба nfsd имеет значение

Я знаю, что было много обсуждений по теме расхождения df/du. Но здесь я бы разместил специальный выпуск и попросил бы несколько советов. Вот подробности (с аппаратным raid5 с 6 дисками sas)

  1. системная информация nfs-сервера/клиента: [root@ndio06 ~]# cat /etc/выпускать|grep CentOS CentOS Linux release 7.6.1810 (Core) NAME="CentOS Linux" PRETTY_NAME="CentOS Linux 7 (Core)" CENTOS_MANTISBT_PROJECT="CentOS-7" CentOS Linux release 7.6.1810 (Core) [root@ndio06 ~]# uname -a Linux ndio06 3.10.0-957.el7.x86_64 #1 SMP Чт Ноя 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux [root@ndio06 ~]# rpm -qa|grep nfs-util nfs-utils-1.3.0-0.61.el7.x86_64

Сервер NFS обычно находится под большой нагрузкой, обслуживая 48 занятых узлов с большим количеством процессов и операций ввода-вывода.

  1. df/du не выровнен, и разрыв огромный: [root@ndio06 ~]# df -hl /CAE;du -sh /CAE Файловая система Размер Использовано Доступно Use% Смонтировано на /dev/sdb1 5.0T 3.6T 1.4T 73% /CAE 736G /CAE

  2. нет файлов «удалено, но используется» на сервере nfs или 40+ клиентах: [root@pbs ~]# for node in pestat|grep ndpam02|awk {'print $1'}|grep -v io; do echo --$node--;ssh $node lsof +D /CAE|grep -i "deleted" ;done --nd065-- --nd066-- --nd067-- ..........

  3. Параметры монтирования на клиентах:

ndio06-ib:/CAE в /CAE тип nfs4 (rw,relatime,vers=4.1,rsize=1048576,wsize=1048576,namlen=255,soft,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=192.168.1.72,local_lock=none,addr=192.168.1.161)

  1. что было замечено: — xfs_repair после размонтирования исправит проблему, однако она снова возникнет через несколько недель. К сожалению, я не записал информацию во время ремонта, чтобы увидеть, есть ли какие-либо физические проблемы с рейдом/дисками.
  • перезапуск службы nfsd исправил бы это, и df выдал бы правильный процент после нескольких попыток (каждая попытка давала бы меньший процент использования%) или подождал бы несколько минут. Опять же, это всего лишь временное исправление, и проблема возникла бы через несколько дней или недель.
  • Служба nfs по-прежнему отвечает, если df не сообщает о 100% использовании. Номер потока nfsd установлен на 8.

Кто-нибудь может любезно пролить свет на этот вопрос? Могу предоставить больше информации, если нужно.

Спасибо.

Связанный контент