パターン入力を何度か間違えると一定時間後にしかパターン入力ができなくなりますが、思いつくパターンで試してみてください。

それでも解除できなければ初期化しか対応策は無さそうです。
下記の方法2〜4をお試しください。
https://prtimes.jp/main/html/rd/p/000000302.000098839.html

方法2のリカバリーモードは下記を参照ください(画像も添付しました)。
https://network.mobile.rakuten.co.jp/faq/detail/10000967/