養育費支払わないと言われました

はじめまして。平成30年1月に1歳の息子を連れて私は離婚致しました。
調停離婚ではなく協議離婚です。
養育費の取り決めは相手方から月4万支払うと言うことで口約束をしました。
そして、子供が大きくなり自ら父親に会いたい。と言った時はあわせると約束致しました。
それまでは会うつもりないと。そういう約束で離婚に至りました。
それから養育費はしっかり支払われていました。
今年6月に元旦那から連絡が来て、7月に結婚予定であること、子供が生まれたら養育費を2万8千円にして欲しいという申し出に承諾しました。それと20歳まではしっかり払ってくださいと。それに対してわかりましたと返事が来ています。最後に母親が息子の3歳の誕生日に会いたいという内容が来ました。私はその時点では分かりました。近くなったら連絡してくださいと、ととりあえず返しました。
7月末の支払いがある前に、その母親の方から連絡が来ました。
元旦那は来ないでその母親だけが会いに来ると言うようなかんじです。
ですが私は事情が変わり会わせられないという判断をしました。
私にも結婚前提にお付き合いをしている人がいて、その相手の両親とまだお会いしてないのですが8月末に挨拶に行く予定だったからです。
私としては子供を混乱させたくないということが第1でした。
少し顔を見たいだけ。プレゼントを渡したいだけ。と主張してきました。
それでも私は3歳だとはいえ混乱させたくなかったです。息子からしたら新しい祖母ができる予定でもあるので、断りました。面会はさせられないと。すると、向こうの母親が「わかった。」とだけ返信が来ました。

後日息子の誕生日があり口座を確認すると、入金されていませんでした。
元旦那に連絡をし、入金されてないことを伝えると
離婚時に俺だけに会わせないと約束したのに、母がプレゼント渡したいだけなのに面会をも取り合うことが出来ないのですね。なら養育費も迷惑だと思うので、学資保険だけで遠慮させて頂きます。家裁に行くならどーぞ。と言われました。

もちろん離婚時も今ももともと息子の学資保険は作っておりません。
あちらの母親との面会の話は離婚時に話にも出ていませんでした。
その後私も返事を返しましたが無視されてしまいました。
私は悔しくてたまりません。
向こうの要件を全て飲まないと養育費すらもらえないのでしょうか？
もし家庭裁判所に行くとなれば、私は不利なんでしょうか。
公正証書に残さなかった私も悪いですが、これからどうしたら良いのかアドバイスが欲しいです。
よろしくお願いします