離婚後、子どもとの面会を拒否したい

協議離婚にて２年前に離婚しました。
子どもは小6女児、小3男児の2人。

親権は母である私にあり、元旦那の名義で建てた戸建てに、私と子ども2人が残りそのまま住んでいます。


【面会交流について】
元旦那に子どもが会うと、特に長女は、会ったあと必ず情緒が不安定になり、家で私に対して反抗的になったり、暴れたり、弟にやつあたりします。

それはなぜかというと、我が家の方針は、誕生日、クリスマス、何か目標を達成できた時にだけ特別に欲しいものを買うという方針でやっているので、なかなか日頃は何でも欲しいものは買い与えていないのですが、
元旦那は面会に必ず元旦那の両親を連れてきて、高価なものを元旦那の両親に頼み、容易く買い与えさせたり、普段うちでは食べさせることのない、高価な飲食をして帰ってくる(元旦那の両親が金銭負担している)ので、この価値観の違いに戸惑い、現実に苦しむことも原因の１つであると考えます。

また、元旦那が勝手に敬老参観の日を娘に電話して聞き出し、勝手に元旦那の両親に日程を伝え、私に黙って敬老参観に行き、
娘と息子に、
「ママに敬老参観に来たことは、内緒にしといてな」
と隠し事をさせていました。

そこで私はもぅ子どもと元旦那とは、子どもの情緒面の発達に影響を及ぼすと判断して、面会させないようにしたいと、弁護士相談に行ったのですが、面会交流は子どものためにはさせないといけない。
そこで、この文面を元旦那に送って様子を見てはどうかと言われました。


「再度言っておきますが、高価な飲食、贈り物は辞めてください。
今回は何のイベントもありませんので、
1000円／1人 以上は辞めて下さい。

敬老参観の時みたいに、
「じいちゃんとばあちゃん来たこと内緒にしといてな。」

と、子どもに嘘や隠し事を強要するようなことは辞めて下さい。
子どもの人格形成に悪影響が出ます。

面会交流は父子の交流のために行うものなので、今回は祖父母の同席は御遠慮下さい。

約束が守られないのであれば、第三者を挟んで、立会いの元、面会する形を取らないといけなくなるので、絶対に辞めてください。

以上の点が守られるのであれば、面会交流に応じます。」

これに対し、元旦那は
「了解」
と返事をしたのにも関わらず、
夜の飲食に、元旦那の両親を、私に黙って連れてきて、高価な飲食をさせていました。

こちらはもぅ、元旦那、元旦那の両親と勝手な面会のやり方に、腹が立って仕方がないです。



【勝手に元旦那が家に入ってくる】
続けて２回入られたのですが、
１回目は面会日でしたが、私が少し入れ違いでいない間に、勝手に上がりこんでいたのです。

その時、
「あなたは出ていった身なので、わきまえなさい」と言いました。
それに対しては無視でした。

２回目は、夜に書類取りに来ると言って約束をしていたのですが、また不快な思いをしたくないから、中に入られたくなかったので、玄関先で書類を渡しました。
しかし、納得がいかなかったようで、
「ちょっと入るで！」
といって、許可していないのに、ずかずかと入って、物を漁りだしたのです。

その姿を見て私は恐怖に陥りました。
辞めて！といっても、
「ここは俺の名義の家じゃ！」
と言って怒鳴りました。

その姿を見て、長女は泣きわめき、情緒が不安定になり、夜中に家を飛び出してしまいました。


長くなりましたが、この話を元に質問です。

面会を拒否することは、子どもの意思とは別に、子どもの情緒面を考慮して、できないのでしょうか？

「長女および長男の情緒の安定と福祉に配慮して、面会するもの」
として、公正証書を作成してありますが、長女が荒れてしまったり、母親に嘘をつかせたりするようなことをしてくるので、子どもが精神的におかしくなってしまっています。
面会拒否はできないのでしょうか？