No puedo iniciar sesión a través de ssh usando una clave pública

Question

Estoy intentando conectarme a mi servidor Ubuntu usando ssh y una clave pública. He desactivado la conexión remota usando una contraseña, por lo que solo puedo iniciar sesión usando una clave.

Hay dos usuarios en mi servidor. Cuando me conecto usando la clave pública para el primer usuario, todo va bien. Se realiza la conexión, se verifica la clave, inicio sesión sin problemas.

Pero cuando intento iniciar sesión como usuario secundario, la conexión se rechaza. Estos fueron mis pasos. Supongamos que mi nombre de usuario secundario es tom.

1. Creé un nuevo par de claves en mi sistema usandossh-keygen -o -a 100 -t ed25519 -f id_tom -C "tom"
2. copió la clave pública en el portapapeles
3. Una vez en el servidor tom, creé un nuevo .sshdirectorio homey creé un nuevo authorized_keysarchivo, cambié el archivo de permisos 600y pegué la clave pública.

4. Agregué las siguientes líneas ~/.ssh/configen mi máquina local:

   Host tom_server
   HostName 687.22.14.4 
   User tom
   IdentityFile ~/.ssh/path/to/id_tom
   IdentitiesOnly yes
   

Al observar el registro de depuración, puedo decir que ssh intenta autenticarse correctamente tomy se pasa la clave correcta al servidor. Entonces, ¿cuál podría ser el problema aquí? ¿Qué estoy pasando por alto?

Actualizar: He probado las soluciones publicadas en¿Por qué sigo apareciendo una solicitud de contraseña con ssh con autenticación de clave pública?y nada hasta ahora ha funcionado.