Це така фішка SSH, оскільки протокол секюрний то він взяв собі за правило перевіряти секюрність того місця куди йому кажуть логуватись.
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized-keys*
Ці два правила є загально відомі. Крім того, право на запис в $HOME повинен мати тільки власник. Якщо ж таке право має група чи всі інші - авторизація по ключу скіпається і береться наступний метод.
Іноді буває необхідно мати специфічні права на $HOME, для таких випадків є директива "StrictModes no" в sshd_config.
Вона просто відключає перевірку прав на вказані вище директорії/файли юзера.
Секюрність з'єднання від цього аж ніяк не страждає, але клопіт про дотримання правильних permissions лагає на плечі юзера (а частіше - адміністратора).