一方的にパワハラの加害者にされ報告内容の開示を拒否されました

美容皮膚科クリニックで2年半ほど週1非常勤で勤務している医師です。
忙しく、他のスタッフとの連携も取りづらい職場で、苛々してスタッフに冷たい態度を取ったり、強く注意してしまうことがありました。
ただ、人格を否定するような言葉を使ったり、怒鳴りつけたり、人前で注意するようなことはありませんでした。これまで特に勤務態度に関して注意もありませんでした。
先日責任者から常勤採用のため契約終了になると告げられました。契約書には「基本的に契約更新」となっており、これまでも2回契約を更新していることから、勤務を継続したいと申し出たところ、実はスタッフや患者への私のパワハラ行為が問題となっているため、契約終了したいと言われました。
勤務継続を希望するなら3ヶ月延長するが、「パワハラに関して本部に報告する」、「次にスタッフや患者からパワハラと疑われる言動についてクレームが届いた場合は、どんな些細なことでも顧問弁護士を入れて調査し、必要な処分を実行する」と脅しのようなことを言われました。
納得いかないところもありましたが、元々働きづらい職場だと思っていたこと、パワハラとまでは言えなくともスタッフに対する態度が良くない時があったこと、「些細なことでも〜処分する」などと言われたらやりづらいため、「これまでの行為は不問、本部への報告はなし」という条件で契約終了に合意することにしました。
当初はパワハラの報告に関して聞きたいのであれば面談すると言われており、その時点では特に希望しませんでしたが、後でやはり気になり、面談を希望したところ断られました。
「パワハラの件は 一度合意しているので、またお話しをするということであれば、本部に報告し、弁護士を入れて調査する」と言われました。
合意したのは契約終了に関してであって、パワハラに関しての面談をしないとは言っておりません。職場の責任者として私の求めに対して、パワハラの報告内容を説明する義務があるのではないでしょうか。説明を拒否して、「説明を希望するなら、本部に報告し、弁護士を入れて調査する」というのは問題がある対応ではないのでしょうか。