ドコモ光 OCN レンタルルーター不具合について

OCNから無料でレンタルしているIPoE対応ルーターが不具合っぽい(1日に何度もWi-Fi接続が途切れる)のですが、市販のルーターに買い替えても良いのでしょうか。
どういうルーターを買えばいいですか？
2階建ての戸建てに住んでて、ノートパソコン1台、ipad1台、スマートフォン3台持ってます。

まだ光開通＆ルーターレンタルして数カ月です。
快適に光を使いたい…。