MariaDB louco com 500% do tempo de CPU

Question 1

O alto uso da CPU geralmente significa muita varredura de tabelas na memória.

Olhando para uma de suas consultas lentas:

Time=5.64s (5s)  Rows_sent=0.0 (0)  Rows_examined=4088258.0 (4088258)
SELECT  udownload_id AS retval 
FROM hb_udownloads 
WHERE  user_id = 415064  
AND file_id = 78499  
LIMIT 1

A consulta está lendo toda a tabela de 4 milhões de linhas, mas retornando no máximoumdeles (e, neste caso, nenhum).
Você precisaíndicesnesta tabela para apoiar esta consulta. Um composto user_ide file_idseria um bom começo.

Outro matador de desempenho aqui:

Time=20.58s (41s)  Rows_sent=4089261.5 (8178523)  Rows_examined=4089261.5 (8178523)
SELECT /*!40001 SQL_NO_CACHE */ * 
FROM `hb_udownloads`

Nunca use "selecione *" no código de produção.
Sempreespecifique as colunas que você deseja explicitamente. Eu diria que esta tabela tem “crescido” (ganhando colunas) ultimamente.
OK, sem uma cláusula where, isso será verificado na tabela de qualquer maneira, mas isso levanta a questão - para onde o pobre cliente [aplicativo] iráfazercom as 4 milhões de linhas que esta consulta "lança" nela?

Answer

O alto uso da CPU geralmente significa muita varredura de tabelas na memória.

Olhando para uma de suas consultas lentas:

Time=5.64s (5s)  Rows_sent=0.0 (0)  Rows_examined=4088258.0 (4088258)
SELECT  udownload_id AS retval 
FROM hb_udownloads 
WHERE  user_id = 415064  
AND file_id = 78499  
LIMIT 1

A consulta está lendo toda a tabela de 4 milhões de linhas, mas retornando no máximoumdeles (e, neste caso, nenhum).
Você precisaíndicesnesta tabela para apoiar esta consulta. Um composto user_ide file_idseria um bom começo.

Outro matador de desempenho aqui:

Time=20.58s (41s)  Rows_sent=4089261.5 (8178523)  Rows_examined=4089261.5 (8178523)
SELECT /*!40001 SQL_NO_CACHE */ * 
FROM `hb_udownloads`

Nunca use "selecione *" no código de produção.
Sempreespecifique as colunas que você deseja explicitamente. Eu diria que esta tabela tem “crescido” (ganhando colunas) ultimamente.
OK, sem uma cláusula where, isso será verificado na tabela de qualquer maneira, mas isso levanta a questão - para onde o pobre cliente [aplicativo] iráfazercom as 4 milhões de linhas que esta consulta "lança" nela?

Question 2

Algumas dessas consultas parecem precisar de otimização.

Por exemplo:

Rows_examined=10026558.0 (30079674), Rows_affected=0.0 (0), server***_fusion[server***_fusion]@localhost
  SELECT *,(select count(id) from tbl_swkey
  where group_id=tbl_keygroup.id and used=0) as selled,(select count(id) from tbl_swkey
  where group_id=tbl_keygroup.id and used=1) as used FROM tbl_keygroup
  order by `displayorder` asc

Esta consulta está verificando 3.000.000 linhas.

É possível que você altere este, por exemplo, para duas consultas:

SELECT * FROM tbl_keygroup ORDER by `displayorder` asc;
SELECT count(id) FROM tbl_swkey WHERE used IN (0,1) GROUP BY used;

Já que a consulta em si envolve uma junção inútil e duas varreduras completas da tabela que podem ser reduzidas pela metade.

Muito do que você mostrou aponta para problemas com a otimização de consultas e eu estaria analisando esse log de consulta lento para determinar qual seria a melhor maneira de recuperar esses dados com a menor quantidade de varreduras de tabela.

Você provavelmente também desejará indexar muitos desses dados para o mesmo propósito.

Answer

Algumas dessas consultas parecem precisar de otimização.

Por exemplo:

Rows_examined=10026558.0 (30079674), Rows_affected=0.0 (0), server***_fusion[server***_fusion]@localhost
  SELECT *,(select count(id) from tbl_swkey
  where group_id=tbl_keygroup.id and used=0) as selled,(select count(id) from tbl_swkey
  where group_id=tbl_keygroup.id and used=1) as used FROM tbl_keygroup
  order by `displayorder` asc

Esta consulta está verificando 3.000.000 linhas.

É possível que você altere este, por exemplo, para duas consultas:

SELECT * FROM tbl_keygroup ORDER by `displayorder` asc;
SELECT count(id) FROM tbl_swkey WHERE used IN (0,1) GROUP BY used;

Já que a consulta em si envolve uma junção inútil e duas varreduras completas da tabela que podem ser reduzidas pela metade.

Muito do que você mostrou aponta para problemas com a otimização de consultas e eu estaria analisando esse log de consulta lento para determinar qual seria a melhor maneira de recuperar esses dados com a menor quantidade de varreduras de tabela.

Você provavelmente também desejará indexar muitos desses dados para o mesmo propósito.

Question 3

** Isso deve tornar o primeiro muito mais rápido:

SELECT  k.*, s.sold, s.used
    FROM ( SELECT group_id,
                  SUM(used = 0) AS sold,
                  SUM(used = 1) AS used
               FROM tbl_swkey
         ) AS s
    JOIN tbl_keygroup AS k  ON s.group_id = k.id
    ORDER BY displayorder

E tem

tbl_swkey:    INDEX(group_id, used)
tbl_keygroup: INDEX(displayorder)

Se você precisar discutir mais esta questão, forneça SHOW CREATE TABLEambas as tabelas, os tamanhos das tabelas e EXPLAIN SELECT ....

** Esse

SELECT  udownload_id AS retval
    FROM  hb_udownloads
    WHERE  user_id = 415064
      AND  file_id = 78499
    LIMIT  1

precisa de um índice composto de 3 colunas para ser muito mais rápido:

INDEX(user_id, file_id, udownload_id)

Você não se importa com qual linha correspondente você obtém? Ou você deve adicionar um ORDER BY? Se você adicionar um ORDER BY, meu conselho de índice pode precisar ser alterado.

** Isso veio de mysqldump?

SELECT /*!40001 SQL_NO_CACHE */ * FROM `hb_udownloads`

Se você não estiver satisfeito com o quão invasivos são os dumps, há várias discussões em dba.stackexchange.com sobre esse tópico.

Answer

** Isso deve tornar o primeiro muito mais rápido:

SELECT  k.*, s.sold, s.used
    FROM ( SELECT group_id,
                  SUM(used = 0) AS sold,
                  SUM(used = 1) AS used
               FROM tbl_swkey
         ) AS s
    JOIN tbl_keygroup AS k  ON s.group_id = k.id
    ORDER BY displayorder

E tem

tbl_swkey:    INDEX(group_id, used)
tbl_keygroup: INDEX(displayorder)

Se você precisar discutir mais esta questão, forneça SHOW CREATE TABLEambas as tabelas, os tamanhos das tabelas e EXPLAIN SELECT ....

** Esse

SELECT  udownload_id AS retval
    FROM  hb_udownloads
    WHERE  user_id = 415064
      AND  file_id = 78499
    LIMIT  1

precisa de um índice composto de 3 colunas para ser muito mais rápido:

INDEX(user_id, file_id, udownload_id)

Você não se importa com qual linha correspondente você obtém? Ou você deve adicionar um ORDER BY? Se você adicionar um ORDER BY, meu conselho de índice pode precisar ser alterado.

** Isso veio de mysqldump?

SELECT /*!40001 SQL_NO_CACHE */ * FROM `hb_udownloads`

Se você não estiver satisfeito com o quão invasivos são os dumps, há várias discussões em dba.stackexchange.com sobre esse tópico.

MariaDB louco com 500% do tempo de CPU

Responder1

Responder2

Responder3

informação relacionada