Wi-Fiルーターの解約は、その中に入れているSIMの回線契約を解約することになります。Wi-Fiルーター本体は購入したものですから、手元に残して構いません。
my楽天モバイルで「契約プラン」のタブを選んで、下の画像の赤丸のところをタップすると「解約」の項目があります。ここから手続きします。

my楽天モバイルはアプリとWebのどちらでも構いません。下記にも「解約・他社へのお乗り換え（MNP）」の項目があります。
https://network.mobile.rakuten.co.jp/guide/my-rakuten-mobile/