私は普段、留守番電話を使っていませんが、先日テストで留守番電話を使ってみました。端末はAQUOS sense7 liteです。
その時はmy楽天モバイルで留守番電話をオンにしたときのみ留守番電話が働き、オフにしたら留守番電話は機能しなくなりました。
my楽天モバイルアプリもRakuten Linkアプリも日々アップデートされているので不具合は解消されていると思います。