今、建築中で昨日見てきたら外壁を貼っていました。とりあえずまだ一階部分だけでしたが、今日で二階まで貼

住宅は工業製品ではなく現場単品生産品の宿命です。

長さ3ｍものサイディングを狭い足場くぐって取り付けるのですから少々傷は付きます。
尚、ＮＯ３の方が危惧されてましたがご心配なくサイディングメーカーは同色の補修塗料を
用意していますので上手く処理すれば気にならない程度に直ります。
質問者さんはこの調子で行くと内装や建具工事で更に気になって眠れない状況になると思われます。
まさか床にビー玉とか・・・・・・。

ここで質問して回答を待っている時間がもったいないです！

すぐに現場の工事管理者に率直に思う所を言うか、担当営業に電話して言いましょう。
それが一番です。
時間を置いてはいけません。経験的に。

参考まで。

ハウスメーカーの営業は経験が無いのですが、新築戸建て竣工済み引渡し前、という段階で、この手のクレーム対応は結構アリマス。

写真では判断し難いのですが、構造上支障が無く、雨水の侵入も考えられないのであれば、交換・補修のレベルでは無いことを丁寧に説明しますね。

現実的には、程度に依りますが直接塗料か、パテ埋め後の塗装での補修の範囲になると思いますが、あまりに軽微なものはそれすらも断ると思います。

塗装による補修を考えた場合、このサイディングの色にピタリと合った塗料の入手と、誰が施工するか？と考えると、外壁の施工業者は嫌がるでしょうし、ノウハウがあるかどうかも判らない。塗装業者は本来請負工事と別の注文で動くことになり、その仕上げの程度に依り、新たなクレーム（色が微妙に違う！等）の原因ともなりますから腰が引けますね。

ただ、気付いて我慢するのはストレスが溜まりますから、

＞どう思いますか？
＞私は替えてもらいたい
という今回の件は落としどころを交換以外のレベルで妥協する腹積もりで交渉してみて、今後に何か気になる点を見つけた場合には、世間一般で通用する内容の物かどうかを考えた上で話されると良いかも知れませんね。

建築関係の仕事をしているものです。

1mm〜5mmとなると、相当に小さいですね。
現場に監督がいると思いますので、やんわりと「コレ、気になるのですが、直せますか？」と聞いてみましょう。
あるいは、担当の営業マンに同じように「気になるのですが」と聞くのが良いでしょう。

1mmのものまで含めてキズと言い出すと、住宅は建築できません。
程度問題ですが、許容範囲がありますので確認されると良いでしょう。

外側はともかく、室内も施工が始まると、気になるところがでてくると思います。
神経質にならないように、でも、キレイに引き渡してもらえるようにしたいですね。

直ぐ言いましょう