ルーター接続方法についてアドバイスお願いします。

NEC型番は、WG2600HP3 (PA-WG2600HP3） だと思います。

https://www.aterm.jp/product/atermstation/product/

WG2600HP3 はブリッジ設定 ( RT -> BR スイッチ）で使い回せばいいです。
ブリッジ設定は、ルーター機能を潰して「無線LANアクセスポイントとして動く」ので、二重ルーター状態にはなりません。

光ファイバー信号をイーサネットに変換するのは、ONU（Optical Network Unit） というデバイスになります。
（10年以上前から何も変更せず使われている場合、光メディアコンバーターという方もいるかも）

ONU＜ーー＞ ISPレンタル IPoE対応ルーター ＜ーー＞　WG2600HP3（BRモード）

ISPレンタルのルーターはどのようなものかわかりませんが、「OCN v6アルファ」見本や意匠を見る限り、NEC なんじゃないかな？と思います。Wi-Fi基本設定を開き2.4GHz/5GHz のチェックを外せれば、Wi-Fi 機能は潰せるんじゃないかと思います。

> ＯＣＮ契約でIPoE/IPv4 over IPv6に変更しようと思っています。

まず、この個人宅での通常利用でこの利点があるのは「光回線の速度が遅くOSの修正情報適用や動画などの大きなファイルのダウンロードに時間を要し実用面での影響が大きい」といった場合です。


> ＯＣＮからレンタルされるルーターは現在自分が使用しているものよりも性能が劣るとのこと

具体的に「何が」「どの程度」劣るかを確認されていますか？
その内容と自宅の構造や間取り、使い方によっては「関係無い」場合もあります。


> ①この接続で問題なしですか？デメリットなどないですか？

特にありません。
あるとすれば具体的に「何が」「どの程度」劣るかの内容によります。


> ②これって2重ルーターではないですか？

通常の設定ではそうなりますが、どちらかをブリッジモードにすればそれは回避できます。
ただ「2重ルーター＝無駄な処理が入り速度が落ちる」というものではありません。
一般的な個人宅での利用の場合の差は微々たるもので体感速度的に明らかに劣るということはまずありません。
個人宅での利用で体感的に問題になるのはWi-Fiの電波が届きにくいことによる速度低下や安定性でしょう。
それに関しては多くの場合、中継器を設置することで改善できます。


> ③もし改善アドバイスなどあったら教えてくださいませ。

ＯＣＮレンタルルーターの何の性能がどの程度悪いのか次第です。
Wi-Fiの性能が悪い（アンテナが小さいなど）のであればWi-Fiのオプション契約はせず、まだ購入してから間が無いという保有ルーターをブリッジモードにしてWi-Fi親機として使用されればよいかと思います。

参考まで。

１．設定が面倒で、さらにトラブルが発生した時に原因の特定が困難なだけで、普段使いに於いては問題はない。
２．二重ルータですが何か問題でもありますか？
３．もう一度ルータを買い直せば金銭的なことの除きすべて解決すると思う。


・・・余談・・・

二重ルータが悪いことは無い。
場合によってはセキュリティ面でとても強固になる。
設定を正しく行い、その設定を忘れないようにしておくことで後々のトラブルを防ぐことができる。

IPv6で接続するメリットは何かありますか？

ネットに接続ならIPv4で充分ですから

モデムーＷＧ2600ＨＧ3
で繋げばいいんです

バージョンUP不可能ならその使い方ですね。

活用方法、ルーターの次に中継としてつなげと言う事
そのモデルなら子機になります。

貴殿が有線で繋いてるなら中継器ただ電気代が無駄に使うだけです。

私なら必要ない物は捨て
V6対応の現行品を買う

①問題なし
②2台目のルーターを「APモード」か「ブリッジモード」に切り替えれば正常に接続できる状態にできます。
③現状でやってみて、だめだったらまた質問してください