SSHFS sigue pidiendo una contraseña a pesar de la clave ssh presente

Question

Tengo una clave SSH válida en mi cliente y mi clave pública está cargada en el servidor remoto.

Puedo iniciar sesión con la clave SSH sin que se me solicite la contraseña usando SSH, pero cuando intento hacerlo con SSHFS sigue pidiéndome la contraseña.

Busqué mucho problemas similares, pero todavía me piden una contraseña.

Esto es lo que probé:

1. Usadosshfs -o IdentityFile=/home/USER/.ssh/id_rsa USER@REMOTE_HOST:/remote_path /local/mountpoint
2. Al leer los consejos de otros problemas similares, me aseguré de especificar la ruta explícita completa a la clave local, usando mi nombre de usuario y no solo~/.ssh
3. Me aseguré de tener los siguientes permisos:

.ssh directory 700
private key 600
public key 644

4. Se activó el modo de depuración, que no me mostró nada.

¿Cómo puedo conectarme a través de SSHFS usando una clave SSH?