住宅ローンについて教えてください。 我が家が完成し、最終金支払いの手続きの際に疑問点が出ました。以下

住宅ローンについて教えてください。
我が家が完成し、最終金支払いの手続きの際に疑問点が出ました。以下、今までの過程を金額例をあげて説明させていただきます。

①ローンを夫婦で4000万で申請、許可がおりる。
②土地代金2000万のローンを実行。
③中間金の支払いで1000万かかることに。銀行から連絡が来て、1000万のうちいくらローンにしますかと聞かれたため、全額自己資金で支払うことを伝える。
④最終支払金が1500万と出たためローン実行手続きへ。

今日④のために銀行に行きました。私の中で、ローン額は①と④を足した3500万だろうと思って行ったのですが、4000万となっていました。そのため、ローン額こんなに必要ないですよね？と聞くと、つなぎ融資の手数料節約のために中間金を全額自己資金にした分、今回最終金払ったあと余った分で補填するのではないですか？と言われました。それはつまり、うちはつなぎ融資の手数料節約のために自己資金を1000万出したくて、どっかからかき集めた金を払っていて、一旦すっからかんになったお金を最終ローンの残高でプラマイゼロにすると思われていたということですよね？そんなこと普通考えますかね？
さらに、今からローン額は変えられないから、それなら4000万借りた後不要な500万を繰り上げ返済してくれと言われました。それって500万の分の金利はかかりますよね？
明日銀行に行って手続きしますが、繰り上げ返済の話に乗っかっていいのか悩んでます。