公正証書遺言について

今回お伺いしたいのは私の母とその兄妹の祖父母の相続財産分割についてです。
今から22年程前に祖父が、11年半程前に祖母がなくなりました。

祖父母の残した財産は祖父の名義の建物と祖母名義の土地です。
この土地と建物はもともと祖父母が住んでいた場所で祖父が亡くなる数年前から長女である叔母が一緒に住んでいました。
現在も叔母が住んでいます。

祖父の名義であった建物については現在も名義変更等はしておらずそのままなのですが祖母名義である土地については、祖母が生前公正証書遺言書で長女である叔母に相続させるとしていました。

そこで祖母が亡くなった後に土地については叔母の名義に変更しております。
その際には母ともう一人の相続人の長男にも公正証書遺言書がある旨は話していたと思います。

しかし、建物はそのまま相続手続き等は何も手をつけていなかったのですが叔母がその場所に住み続けているということで叔父から家賃を払えということで揉めるのも嫌で毎月数年間家賃として払っていたそうです。
現在は払い終えて払っていないそうなのですが今回叔母がその家に結婚した相手と二人で住むことにしたそうなのですが、今度は祖父母の相続分としてお金を払えといってきているそうです。

今まではあまり揉めるのも嫌で家賃等として払っていたそうなのですがこのままだとずっとこんな感じで揉める事になりそうですし叔母も年で年金と少しの収入でやりくりをしているのでこれ以上払うのは無理ということで相続財産について話し合うことにしました。

長くなってしましましたがそこでお聞きしたいのですが祖父名義の建物については遺言も何もないので分割となるかと思うのですが公正証書遺言書を残している土地についてはこのまま叔母に相続という事で問題ないのでしょうか？
母はこの公正証書遺言書については異議ないみたいなのですが叔父が認めないといっているみたいなのですがこういった場合は認められないのでしょうか？