Acabo de configurar un enlace InfiniBand 4x SDR de servidor a servidor para aumentar el ancho de banda para el almacenamiento backend de mis máquinas virtuales, específicamente un servidor de base de datos. Estoy usando iSCSI con TGTD en CentOS 6 y puedo alcanzar aproximadamente 6,45 Gbps usando IPoIB cuando pruebo con iperf.
Logré ajustar el iniciador iSCSI y el objetivo hasta el punto en que puedo lograr aproximadamente 260 MB/s de escritura en un SSD. Sin embargo, esta todavía no es una velocidad de escritura óptima dado que puedo escribir a aproximadamente 500-600 MB/s localmente.
Los parámetros que estoy usando actualmente son:
- Longitud máxima del segmento de datos de recepción 4194304
- Longitud máxima del segmento de datos Xmit 524288
- Longitud máxima de ráfaga 4194304
- Longitud de la primera ráfaga 262144
- MaxOutstandingUnexpectedPDU=0
- Máx. SobresalienteR2T=1
- Comandos máximos=256
- Profundidad de cola=128
¿Alguien ha tenido alguna experiencia en ajustar esto? ¿Es posible llegar a algo más alto con cambios de configuración? Incluso haciendo un RAID 0 en dos dispositivos, sólo puedo lograr el mismo ancho de banda, que hubiera esperado mayor.
Respuesta1
Los resultados que obtuvo son razonablemente esperables con la configuración actual. Puede obtener una ganancia de rendimiento adicional con iserel modo de transporte.
Consejos de configuración deREADME.iser
Objetivo:
./tgtadm --lld iser --mode target \
--op new --tid 1 --targetname "iqn.$(hostname).t1"
./tgtadm --lld iser --mode target \
--op bind --tid 1 --initiator-address ALL
./tgtadm --lld iser --mode logicalunit \
--op new --tid 1 --lun 1 \ --backing-store /dev/sde
--bstype rdwr
Iniciador:
iscsiadm -m discovery -t sendtargets -p $targe
iscsiadm -m node -p $targetip -T $targetname --op update \
-n node.transport_name -v iser
iscsiadm -m node -p $targetip -T $targetname --login
Pregunta útil relacionada con SF:Configure un almacenamiento en bloque Infiniband simple (SRP o iSER).