Hemos migrado nuestra base de datos de Mysql versión 5.1.73 MyISAM al motor Mariadb 10.3.26 Innodb. Desde entonces estamos observando lentitud en las inserciones y un uso muy alto de la CPU del proceso Mysqld.
Nuestro my.cnf está debajo.
[mysqld]
sql_mode=ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
datadir=/var/lib/mariadb/data
socket=/var/lib/mariadb/mysql.sock
transaction-isolation = READ-COMMITTED
symbolic-links = 1
port = 3306
key_buffer_size = 32M
max_allowed_packet = 500M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
tmpdir=/var/lib/mariadb/tmp
tmp_table_size= 2GB
max_connections = 2048
expire_logs_days = 2
max_binlog_size = 100M
log_bin=/var/lib/mariadb/mysql_binary_log/mysql_binlog
server_id=1
binlog_format = mixed
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 410G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
log_warnings = 1
[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid
#!includedir /etc/my.cnf.d
[client]
socket=/var/lib/mariadb/mysql.sock
Sugiera si hay algo que podamos hacer para solucionar este problema. ¿La configuración de innodb_page_cleaners = 1 solucionará el problema de uso de la CPU?
El tamaño de la base de datos es 800 GB
Saludos, Padmini.
Respuesta1
Gracias por las sugerencias..
Desactivaré el caché de consultas y cambiaré la frecuencia de confirmación de las inserciones.
También consulte el estado de innodb o/p para conocer posibles hallazgos. He eliminado las ips y SQL por motivos de seguridad.
**************************** 1. fila ******************** ******* Tipo: InnoDB Nombre: Estado:
2020-12-28 15:23:03 0x7f53a87e0700 SALIDA DEL MONITOR INNODB
Promedios por segundo calculados a partir de los últimos 31 segundos
HILO DE ANTECEDENTES
Bucles srv_master_thread: 8128 srv_active, 0 srv_shutdown, 431935 srv_idle srv_master_thread log vaciado y escrituras: 440060
SEMAFOROS
OS WAIT ARRAY INFO: recuento de reservas 30709730 OS WAIT ARRAY INFO: recuento de señales 421296865 Giros compartidos de RW 1115208207, rondas 2687646128, esperas de OS 22420145 Giros excluidos de RW 30775840, rondas 277954745, esperas de OS 69585 61 giros RW-sx 245636, rondas 3976023, OS espera 58477 rondas de giro por espera: 2,41 RW compartido, 9,03 RW excl, 16,19 RW-sx
ACTAS
Contador de ID de Trx 91991569 Purga realizada para n:o < 91770847 deshacer n:o < 0 estado: en ejecución pero inactivo Longitud de la lista del historial 110153 LISTA DE TRANSACCIONES PARA CADA SESIÓN: ---TRANSACCIÓN 421472262604096, no iniciada 0 estructuras de bloqueo, tamaño de montón 1128, 0 bloqueos de fila ---TRANSACTION 421472262566152, no iniciado 0 estructuras de bloqueo, tamaño de montón 1128, 0 bloqueos de fila ---TRANSACTION 421472262599880, ACTIVO 3 segundos durmiendo antes de ingresar a las tablas InnoDB mysql en uso 1, bloqueado 0 0 estructuras de bloqueo, tamaño de montón 1128, 0 bloqueos de fila ID de subproceso MySQL 228426, identificador de subproceso del sistema operativo 139997076879104, ID de consulta 58188566 Estadísticas SELECT Consulta ---TRANSACCIÓN 421472262591448, ACTIVA 6 segundos antes de dormir ingresando tablas InnoDB mysql en uso 1, bloqueado 0 0 estructuras de bloqueo, tamaño de montón 1128, 0 bloqueos de fila ID de subproceso MySQL 228425, identificador de subproceso del sistema operativo 139997278693120, ID de consulta 58188561 Estadísticas raíz SELECCIONAR ---TRANSACCIÓN 421472262587232, ACTIVA 7 segundos, subproceso declarado dentro de tablas MySQL InnoDB 4123 en uso 8, bloqueado 1 0 estructuras de bloqueo, tamaño de montón 1128, 0 bloqueos de fila ID de subproceso MySQL 228423, identificador de subproceso del sistema operativo 139538942158592, ID de consulta 58188555 raíz Creando índice de clasificación CREAR TABLA TEMPORAL La vista de lectura de Trx no verá trx con id >= 91991569, ve < 91991569 ---TRANSACCIÓN 421472262574584, ACTIVA 25 segundos recuperando filas, subproceso declarado dentro de tablas mysql InnoDB 4798 en uso 8, bloqueado 1 0 estructura(s) de bloqueo , tamaño del montón 1128, 0 bloqueos de fila ID de hilo MySQL 228404, identificador de hilo del sistema operativo 139538945943296, ID de consulta 58186884 Creando índice de clasificación CREAR TABLA TEMPORAL La vista de lectura de Trx no verá trx con ID >= 91990920, ve < 91990920 ---TRANSACCIÓN 421472262578800, ACTIVO 120 segundos recuperando filas, subproceso declarado dentro de InnoDB 1141 tablas mysql en uso 8, bloqueado 1 0 estructuras de bloqueo, tamaño de montón 1128, 0 bloqueos de fila ID de subproceso MySQL 228335, identificador de subproceso del sistema operativo 139538945132288, id de consulta 58178904 raíz Creando índice de clasificación CREAR TABLA TEMPORAL ---TRANSACCIÓN 421472262625176, ACTIVA 243 segundos recuperando filas, subproceso declarado dentro de InnoDB 1141 tablas mysql en uso 8, bloqueado 1 0 estructuras de bloqueo, tamaño de montón 1128, 0 bloqueos de fila ID de subproceso de MySQL 228257, identificador de subproceso del sistema operativo 139538941347584, ID de consulta 58176235 Creando índice de clasificación CREAR TABLA TEMPORAL
La vista de lectura de Trx no verá trx con id >= 91986376, ve < 91986376 ---TRANSACTION 421472262616744, ACTIVA 236 segundos recuperando filas, subproceso declarado dentro de InnoDB 1141 tablas mysql en uso 8, bloqueado 1 0 estructuras de bloqueo, tamaño del montón 1128, 0 bloqueos de fila ID de subproceso MySQL 228254, identificador de subproceso del sistema operativo 139539194201856, ID de consulta 58176270 raíz Creando índice de clasificación CREAR SELECCION DE TABLA TEMPORAL, la vista de lectura de Trx no verá trx con id >= 91986377, ve < 91986377 ---TRANSACCIÓN 421472262612528, ACTIVO 247 segundos recuperando filas, subproceso declarado dentro de InnoDB 1141 tablas mysql en uso 8, bloqueado 1 0 estructuras de bloqueo, tamaño de montón 1128, 0 bloqueos de fila ID de subproceso MySQL 228252, identificador de subproceso del sistema operativo 139997285033728, id de consulta 58175990 raíz Creando índice de clasificación CREAR TABLA TEMPORAL La vista de lectura de Trx no verá trx con id >= 91986373, ve < 91986373 ---TRANSACCIÓN 421472262595664, ACTIVA 311 segundos recuperando filas, hilo declarado dentro de InnoDB 1141 tablas mysql en uso 8, bloqueado 1 0 bloquear estructuras, tamaño de montón 1128, 0 bloqueos de fila ID de subproceso MySQL 228205, identificador de subproceso del sistema operativo 139997077149440, ID de consulta 58173387 raíz Creando índice de clasificación CREAR TABLA TEMPORAL
La vista de lectura de Trx no verá trx con id >= 91985372, ve < 91985372 ---TRANSACTION 421472262608312, no iniciado 0 estructuras de bloqueo, tamaño de montón 1128, 0 bloqueos de fila ---TRANSACTION 421472262650472, no iniciado 0 bloquear estructuras, tamaño de montón 1128, 0 bloqueos de fila ---TRANSACCIÓN 421472262583016, ACTIVO 4510 segundos recuperando filas, subproceso declarado dentro de InnoDB 4879 tablas mysql en uso 11, bloqueado 0 0 estructuras de bloqueo, tamaño de montón 1128, 0 bloqueos de fila ID de hilo MySQL 224972, identificador de hilo del sistema operativo 139997278963456, ID de consulta 57666902 raíz Enviando datos SELECCIONAR La vista de lectura de Trx no verá trx con ID >= 91770846, ve < 91770846 ---TRANSACCIÓN 42147226257036 8, no empezó a dormir antes de ingresar a las tablas InnoDB mysql en uso 7, bloqueado 7 0 estructuras de bloqueo, tamaño de montón 1128, 0 bloqueos de fila ---TRANSACTION 421472262561936, no iniciado 0 estructuras de bloqueo, tamaño de montón 1128, 0 bloqueo de fila (s)
ARCHIVO E/S
Estado del subproceso de E/S 0: en espera de solicitudes de aio completadas (insertar subproceso de búfer) Estado del subproceso de E/S 1: en espera de solicitudes de aio completadas (subproceso de registro) Estado del subproceso de E/S 2: en espera de solicitudes de aio completadas (leer subproceso) I /O estado del hilo 3: esperando solicitudes aio completadas (leer hilo) Estado del hilo 4 de E/S: esperando solicitudes aio completadas (leer hilo) Estado del hilo 5 de E/S: esperando solicitudes aio completadas (leer hilo) E/S Estado del hilo 6: esperando solicitudes aio completadas (hilo de escritura) Estado del hilo 7 de E/S: esperando solicitudes aio completadas (hilo de escritura) Estado del hilo 8 de E/S: esperando solicitudes aio completadas (hilo de escritura) Hilo de E/S 9 estado: esperando solicitudes de aio completadas (escribir hilo) Lecturas de aio normales pendientes: [0, 0, 0, 0], escrituras de aio: [0, 0, 0, 0], lecturas de aio ibuf:, registro de E/S:, E/S de sincronización: Registro de descargas pendientes (fsync): 0; grupo de búfer: 0 21568038 lecturas de archivos del sistema operativo, 55947091 escrituras de archivos del sistema operativo, 5176098 fsyncs del sistema operativo 0,00 lecturas/s, 0 bytes promedio/lectura, 110,61 escrituras/s, 12,26 fsyncs/s
INSERTAR BUFFER E ÍNDICE HASH ADAPTABLE
Ibuf: tamaño 1, lista libre len 327, tamaño seg 329, 29895 fusiones operaciones fusionadas: insertar 310690, eliminar marca 2804937, eliminar 98025 operaciones descartadas: insertar 0, eliminar marca 0, eliminar 0 Tamaño de tabla hash 108898523, el montón de nodos tiene 468 buffers (s) Tamaño de la tabla hash 108898523, el montón de nodos tiene 4886 buffers Tamaño de la tabla hash 108898523, el montón de nodos tiene 1174 buffers Tamaño de la tabla hash 108898523, el montón de nodos tiene 804827 buffers Tamaño de la tabla hash 108898523, el montón de nodos tiene 206 búfer(es) Tamaño de la tabla hash 108898523, el montón de nodos tiene 11802 búfer(es) Tamaño de la tabla hash 108898523, el montón de nodos tiene 10235 búfer(es) Tamaño de la tabla hash 108898523, el montón de nodos tiene 6018 búfer(es) 2282,60 búsquedas hash/s, 168,19 búsquedas sin hash/s
REGISTRO
Número de secuencia de registro 1631035877442 Registro vaciado hasta 1631035877442 Páginas vaciadas hasta 1631035877442 Último punto de control en 1631035877433 0 vaciados de registro pendientes, 0 escrituras de chkp pendientes 30700890 E/S de registro realizadas, 55,68 E/S de registro/segundo
PISCINA DE BUFFER Y MEMORIA
Memoria grande total asignada 449826521088 Memoria de diccionario asignada 209792 Tamaño del grupo de búfer 26868120 Búfers libres 2315898 Páginas de base de datos 23712605 Páginas de base de datos antiguas 8753125 Páginas de base de datos modificadas 0 Porcentaje de páginas sucias (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Escrituras pendientes : LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 18707, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 21568383, creadas 2144222, escritas 23631157 0,00 lecturas/s, 0,74 creaciones/s, 50,68 escrituras/s Tasa de aciertos del grupo de búfer 1000/1000, tasa de creación de jóvenes 0/1000 no 0/1000 Páginas leídas con antelación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria con antelación 0,00/s LRU len: 23712605, unzip_LRU len: 0 suma de E/S[0]:cur[0], descomprimir suma[0]:cur[0]
INFORMACIÓN DEL GRUPO DE BUFFER INDIVIDUAL
---BUFFER POOL 0 Tamaño del grupo de búfer 3358720 Búfers libres 281768 Páginas de base de datos 2972171 Páginas de base de datos antiguas 1097131 Páginas de base de datos modificadas 0 Porcentaje de páginas sucias (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Escrituras pendientes: LRU 0 , lista de descarga 0, página única 0 Páginas creadas jóvenes 2433, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 2704251, creadas 267920, escritas 7476898 0,00 lecturas/s, 0,00 creaciones/s, 19,42 escrituras/s Tasa de aciertos del grupo de búfer 1000/1000, tasa de creación de jóvenes 0/1000, no 0/1000 Páginas leídas con anticipación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria con anticipación 0,00/s LRU len: 2972171, unzip_LRU len: 0 I/ O suma[0]:cur[0], descomprimir suma[0]:cur[0] ---BUFFER POOL 1 Tamaño del grupo de búfer 3358310 Búfers libres 293950 Páginas de base de datos 2959617 Páginas de base de datos antiguas 1092494 Páginas de base de datos modificadas 0 Porcentaje de páginas sucias( LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Escrituras pendientes: LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 2226, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 2692983, creado 266634, escrito 994418 0,00 lecturas/s, 0,03 creaciones/s, 1,10 escrituras/s Tasa de aciertos del grupo de búfer 1000/1000, tasa de generación joven 0/1000 no 0/1000 Páginas leídas con antelación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria anticipada 0,00/s LRU len: 2959617, unzip_LRU len: 0 E/S sum[0]:cur[0], descomprimir sum[0]:cur[0] ---BUFFER POOL 2 Buffer pool tamaño 3358720 Búfers libres 294486 Páginas de base de datos 2959458 Páginas de bases de datos antiguas 1092436 Páginas de base de datos modificadas 0 Porcentaje de páginas sucias (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Escrituras pendientes: LRU 0, lista de vaciado 0, página única 0 Páginas creadas para jóvenes 2374, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 2692116, creadas 267342, escritas 1400586 0,00 lecturas/s, 0,71 creaciones/s, 5,06 escrituras/s Tasa de aciertos del grupo de búfer 1000/1000, Tasa de creación de jóvenes 0/1000, no 0/1000 Páginas leídas con anticipación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria con anticipación 0,00/s Len LRU: 2959458, unzip_LRU len: 0 Suma de E/S[0]:cur[ 0], descomprimir suma[0]:cur[0] ---BUFFER POOL 3 Tamaño del grupo de búfer 3358310 Búfers libres 279408 Páginas de base de datos 2973878 Páginas de bases de datos antiguas 1097759 Páginas de base de datos modificadas 0 Porcentaje de páginas sucias (LRU y páginas libres): 0,000 máx. Porcentaje de páginas sucias: 75.000 Lecturas pendientes 0 Escrituras pendientes: LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 2419, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 2705442, creadas 268436, escritas 5297912 0,00 lecturas/s, 0,00 creaciones/s, 14,42 escrituras/s Tasa de aciertos del grupo de buffer 1000/1000, tasa de creación de jóvenes 0/1000 no 0/1000 Páginas leídas con anticipación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria con anticipación 0,00 /s LRU len: 2973878, unzip_LRU len: 0 E/S sum[0]:cur[0], descomprimir sum[0]:cur[0] ---BUFFER POOL 4 Tamaño del grupo de buffers 3358720 Buffers libres 310866 Páginas de base de datos 2942617 Páginas de base de datos antiguas 1086219 Páginas de base de datos modificadas 0 Porcentaje de páginas sucias (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75.000 Lecturas pendientes 0 Escrituras pendientes: LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 2189, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 2671221, creadas 271396, escritas 4720179 0,00 lecturas/s, 0,00 creaciones/s, 9,35 escrituras/s Tasa de aciertos del grupo de buffer 1000/1000, tasa de creación de jóvenes 0/1000 no 0/1000 Páginas leídas con anticipación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria con anticipación 0,00/s LRU len : 2942617, unzip_LRU len: 0 suma de E/S[0]:cur[0], descomprimir suma[0]:cur[0] ---BUFFER POOL 5 Tamaño del grupo de búfer 3358310 Búfers libres 282190 Páginas de base de datos 2971125 Páginas de base de datos antiguas 1096743 Páginas de base de datos modificadas 0 Porcentaje de páginas sucias (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Escrituras pendientes: LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 2410, no jóvenes 0 0,00 jóvenes/s , 0,00 páginas no jóvenes/s leídas 2702315, creadas 268810, escritas 1055279 0,00 lecturas/s, 0,00 creaciones/s, 0,58 escrituras/s Tasa de aciertos del grupo de búfer 1000/1000, tasa de creación de jóvenes 0/1000, no 0/1000 páginas lectura anticipada 0,00/s, desalojado sin acceso 0,00/s, lectura aleatoria anticipada 0,00/s LRU len: 2971125, unzip_LRU len: 0 E/S sum[0]:cur[0], descomprimir suma[0]:cur[0 ] ---BUFFER POOL 6 Tamaño del grupo de búfer 3358720 Búfers libres 287692 Páginas de base de datos 2966288 Páginas de base de datos antiguas 1094957 Páginas de base de datos modificadas 0 Porcentaje de páginas sucias (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Escrituras pendientes: LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 2430, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 2701700, creadas 264588, escritas 1357268 0,00 lecturas/s, 0,00 creaciones/s, 0,19 escrituras/ s Tasa de aciertos del grupo de búfer 1000/1000, tasa de creación de jóvenes 0/1000, no 0/1000 Páginas leídas con antelación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria con antelación 0,00/s LRU len: 2966288, unzip_LRU len: 0 I /O suma[0]:cur[0], descomprimir suma[0]:cur[0] ---BUFFER POOL 7 Tamaño del grupo de búfer 3358310 Búfers libres 285538 Páginas de base de datos 2967451 Páginas de base de datos antiguas 1095386 Páginas de base de datos modificadas 0 Porcentaje de páginas sucias (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Escrituras pendientes: LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 2226, no jóvenes 0 0,00 páginas jóvenes/s, 0,00 páginas no jóvenes/s leído 2698355, creado 269096, escrito 1328617 0,00 lecturas/s, 0,00 creaciones/s, 0,55 escrituras/s Tasa de aciertos del grupo de búfer 1000/1000, tasa de generación joven 0/1000 no 0/1000 Páginas leídas con antelación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria anticipada 0,00/s LRU len: 2967451, descomprimir_LRU len: 0 E/S sum[0]:cur[0], descomprimir suma[0]:cur[0]cur[0] ---BUFFER POOL 5 Tamaño del grupo de búfer 3358310 Búfers libres 282190 Páginas de base de datos 2971125 Páginas de base de datos antiguas 1096743 Páginas de base de datos modificadas 0 Porcentaje de páginas sucias (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Pendiente escribe: LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 2410, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 2702315, creadas 268810, escritas 1055279 0,00 lecturas/s, 0,00 crea/s, 0,58 escrituras/s Tasa de aciertos del grupo de búfer 1000/1000, tasa de generación joven 0/1000 no 0/1000 Páginas leídas con anticipación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria con anticipación 0,00/s LRU len: 2971125, unzip_LRU len : 0 suma de E/S[0]:cur[0], descomprimir suma[0]:cur[0] ---BUFFER POOL 6 Tamaño del grupo de búfer 3358720 Búfers libres 287692 Páginas de base de datos 2966288 Páginas de base de datos antiguas 1094957 Páginas de base de datos modificadas 0 Por ciento de páginas sucias (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Escrituras pendientes: LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 2430, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes /s Páginas leídas 2701700, creadas 264588, escritas 1357268 0,00 lecturas/s, 0,00 creaciones/s, 0,19 escrituras/s Tasa de aciertos del grupo de búfer 1000/1000, tasa de creación de jóvenes 0/1000 no 0/1000 Páginas leídas con anticipación 0,00/s , desalojado sin acceso 0.00/s, lectura aleatoria anticipada 0.00/s LRU len: 2966288, unzip_LRU len: 0 E/S sum[0]:cur[0], descomprimir sum[0]:cur[0] ---BUFFER GRUPO 7 Tamaño del grupo de búfer 3358310 Búfers libres 285538 Páginas de base de datos 2967451 Páginas de base de datos antiguas 1095386 Páginas de base de datos modificadas 0 Porcentaje de páginas sucias (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Escrituras pendientes: LRU 0, lista de vaciado 0 , página única 0 Páginas creadas como jóvenes 2226, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 2698355, creadas 269096, escritas 1328617 0,00 lecturas/s, 0,00 creaciones/s, 0,55 escrituras/s Tasa de aciertos del grupo de búfer 1000/1000, tasa de creación de jóvenes 0/1000, no 0/1000 Páginas leídas con antelación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria con antelación 0,00/s LRU len: 2967451, unzip_LRU len: 0 Suma de E/S[0 ]:cur[0], descomprimir suma[0]:cur[0]cur[0] ---BUFFER POOL 5 Tamaño del grupo de búfer 3358310 Búfers libres 282190 Páginas de base de datos 2971125 Páginas de base de datos antiguas 1096743 Páginas de base de datos modificadas 0 Porcentaje de páginas sucias (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Pendiente escribe: LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 2410, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 2702315, creadas 268810, escritas 1055279 0,00 lecturas/s, 0,00 crea/s, 0,58 escrituras/s Tasa de aciertos del grupo de búfer 1000/1000, tasa de generación joven 0/1000 no 0/1000 Páginas leídas con anticipación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria con anticipación 0,00/s LRU len: 2971125, unzip_LRU len : 0 suma de E/S[0]:cur[0], descomprimir suma[0]:cur[0] ---BUFFER POOL 6 Tamaño del grupo de búfer 3358720 Búfers libres 287692 Páginas de base de datos 2966288 Páginas de base de datos antiguas 1094957 Páginas de base de datos modificadas 0 Por ciento de páginas sucias (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Escrituras pendientes: LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 2430, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes /s Páginas leídas 2701700, creadas 264588, escritas 1357268 0,00 lecturas/s, 0,00 creaciones/s, 0,19 escrituras/s Tasa de aciertos del grupo de búfer 1000/1000, tasa de creación de jóvenes 0/1000 no 0/1000 Páginas leídas con antelación 0,00/s , desalojado sin acceso 0.00/s, lectura aleatoria anticipada 0.00/s LRU len: 2966288, unzip_LRU len: 0 E/S sum[0]:cur[0], descomprimir sum[0]:cur[0] ---BUFFER GRUPO 7 Tamaño del grupo de búfer 3358310 Búfers libres 285538 Páginas de base de datos 2967451 Páginas de base de datos antiguas 1095386 Páginas de base de datos modificadas 0 Porcentaje de páginas sucias (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Escrituras pendientes: LRU 0, lista de vaciado 0 , página única 0 Páginas creadas como jóvenes 2226, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 2698355, creadas 269096, escritas 1328617 0,00 lecturas/s, 0,00 creaciones/s, 0,55 escrituras/s Tasa de aciertos del grupo de búfer 1000/1000, tasa de creación de jóvenes 0/1000, no 0/1000 Páginas leídas con antelación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria con antelación 0,00/s LRU len: 2967451, unzip_LRU len: 0 Suma de E/S[0 ]:cur[0], descomprimir suma[0]:cur[0]LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 2430, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 2701700, creadas 264588, escritas 1357268 0,00 lecturas/s, 0,00 creaciones/s, 0,19 escrituras /s Tasa de aciertos del grupo de búfer 1000/1000, tasa de creación de jóvenes 0/1000, no 0/1000 Páginas leídas con antelación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria con antelación 0,00/s LRU len: 2966288, unzip_LRU len: 0 Suma de E/S[0]:cur[0], descomprimir suma[0]:cur[0] ---BUFFER POOL 7 Tamaño del grupo de búfer 3358310 Búfers libres 285538 Páginas de base de datos 2967451 Páginas de base de datos antiguas 1095386 Páginas de base de datos modificadas 0 Porcentaje de sucias páginas (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Escrituras pendientes: LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 2226, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 2698355, creadas 269096, escritas 1328617 0,00 lecturas/s, 0,00 creaciones/s, 0,55 escrituras/s Tasa de aciertos del grupo de búfer 1000/1000, tasa de generación joven 0/1000 no 0/1000 Páginas leídas con antelación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria anticipada 0,00/s LRU len: 2967451, unzip_LRU len: 0 E/S sum[0]:cur[0], descomprimir suma[0]:cur[0]LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 2430, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 2701700, creadas 264588, escritas 1357268 0,00 lecturas/s, 0,00 creaciones/s, 0,19 escrituras /s Tasa de aciertos del grupo de búfer 1000/1000, tasa de creación de jóvenes 0/1000, no 0/1000 Páginas leídas con antelación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria con antelación 0,00/s LRU len: 2966288, unzip_LRU len: 0 Suma de E/S[0]:cur[0], descomprimir suma[0]:cur[0] ---BUFFER POOL 7 Tamaño del grupo de búfer 3358310 Búfers libres 285538 Páginas de base de datos 2967451 Páginas de base de datos antiguas 1095386 Páginas de base de datos modificadas 0 Porcentaje de sucias páginas (LRU y páginas libres): 0,000 Porcentaje máximo de páginas sucias: 75,000 Lecturas pendientes 0 Escrituras pendientes: LRU 0, lista de descarga 0, página única 0 Páginas creadas jóvenes 2226, no jóvenes 0 0,00 jóvenes/s, 0,00 no jóvenes/s Páginas leídas 2698355, creadas 269096, escritas 1328617 0,00 lecturas/s, 0,00 creaciones/s, 0,55 escrituras/s Tasa de aciertos del grupo de búfer 1000/1000, tasa de generación joven 0/1000 no 0/1000 Páginas leídas con antelación 0,00/s, desalojadas sin acceso 0,00/s, lectura aleatoria anticipada 0,00/s LRU len: 2967451, unzip_LRU len: 0 E/S sum[0]:cur[0], descomprimir suma[0]:cur[0]
OPERACIONES DE FILA
8 consultas dentro de InnoDB, 3 consultas en cola 8 vistas de lectura abiertas dentro de InnoDB ID de proceso=4487, ID de hilo principal=139539341866752, estado: inactivo Número de filas insertadas 149186838, actualizado 39010, eliminado 921469, leído 233065780693 27,03 inserciones/s, 0,00 actualizaciones /s, 0,00 eliminaciones/s, 2432,12 lecturas/s Número de filas del sistema insertadas 0, actualizadas 0, eliminadas 0, lecturas 0 0,00 inserciones/s, 0,00 actualizaciones/s, 0,00 eliminaciones/s, 0,00 lecturas/s
FIN DE SALIDA DEL MONITOR INNODB
Estado de la tabla temporal:
CREAR TABLA TEMPORAL prueba SELECCIONAR 'testData', data_test.a_id como a_id, data_test.d_name_id como d_name_id, data_test.c_id como c_id, data_test.b_id como b_id, data_test.meas_e_name_id como meas_e_name_id, data_test.recipe_id como receta_id, MIN(data_test.date_time ) como "inicio", MAX(data_test.date_time) como "fin", ep, COUNT() como f, CONTAR() - CONTAR(abajo)
Respuesta2
Para ACID, InnoDB (a diferencia de MyISAM) toma medidas para evitar la pérdida de datos. Esto incluye una visita al disco por transacción. (Sí, innodb_flush_log_at_trx_commit = 2suaviza ese golpe.)
Lo que probablemente esté sucediendo es que estás insertando una fila a la vez con autocommit=ON? ¿Cuántas inserciones por segundo estás haciendo?
Plan A: BEGIN; several inserts; COMMIT; -- Recomendar 100-1000 a la vez.
Plan B: Lote INSERT--INSERT ... VALUES (...), (...), ...
Plan C: Para tasas de ingestión bastante altas, consultehttp://mysql.rjweb.org/doc.php/staging_table
Otros asuntos...
- La caché de consultas probablemente debería estar desactivada. Cadaescribir en una tabla causastodoentradas en el control de calidad para que esa tabla se depure. Una tasa de ingestión alta implica que el control de calidad es inútil (para esa tabla).
- Proporcione
SHOW CREATE TABLEposibles otros consejos.