Não é possível fazer login via ssh usando chave pública

Question

Estou tentando me conectar ao meu servidor Ubuntu usando ssh e uma chave pública. Desativei a conexão remota usando uma senha, então só posso fazer login usando uma chave.

Existem dois usuários no meu servidor. Quando me conecto usando o pubkey do primeiro usuário, tudo corre bem. A conexão é feita, a chave é verificada, eu entro sem problemas.

Mas quando tento fazer login como usuário secundário, a conexão é recusada. Esses foram meus passos. Suponha que meu nome de usuário secundário seja tom.

1. Criei um novo par de chaves no meu sistema usandossh-keygen -o -a 100 -t ed25519 -f id_tom -C "tom"
2. copiou a chave pública para a área de transferência
3. uma vez no servidor como tom, criei um novo .sshdiretório homee criei um novo authorized_keysarquivo, alterando o arquivo de permissões 600e colei a chave pública

4. Anexei as seguintes linhas ~/.ssh/configem minha máquina local:

   Host tom_server
   HostName 687.22.14.4 
   User tom
   IdentityFile ~/.ssh/path/to/id_tom
   IdentitiesOnly yes
   

Olhando para o log de depuração, posso dizer que o ssh tenta autenticar corretamente tome a chave correta é passada para o servidor. Então, qual poderia ser o problema aqui? O que estou negligenciando?

Atualizar: Eu tentei as soluções postadas emPor que ainda estou recebendo uma solicitação de senha com ssh com autenticação de chave pública?e nada até agora funcionou.