有期雇用契約で契約期間内の解除を会社から拒否された場合、解除は難しいでしょうか。

2019年1月より、3ヶ月ごとの契約を締結をする有期雇用契約を会社と締結しています。
直近の契約は4～6月なのですが、仮に5月末での退職を希望する場合、「やむを得ない事情がある」もしくは「会社側と労働者側の双方が合意した場合」でなければ法律上は契約期間内の解除ができず、場合によっては損害賠償請求をされる可能性があるという認識です。

現在所属している会社についてなのですが、下記のような状態で雇用回りのことに関して非常にいい加減です。
・契約書の締結が毎回遅れる（今回も4月を過ぎていますが4～6月の契約書を渡されていません）
・2020年春に法律が変わり契約社員というのが不可になるので（おそらく同一労働同一賃金のことかと思っています）、正社員かフリーランスか選んでほしい言われ、じゃあ2019年10月から正社員でという話になった（ただし、契約書に雇用形態の記載がないため確かめようがなく、ここは一筆書いてもらわなかった自分の確認不足でもあると認識）
・2020年3月に再度正社員かフリーランスが選んでほしいといわれ、おかしいなと思い昨年10月から正社員の認識だが違うのか？単にもう一度選んでほしいということか？と上司に確認したが、自分も10月から正社員に変わったと「思っていた」と言われてそのままあやふやな状態
・発行は義務ではないと認識はしているが、昨年9月までデータで送られてきていた給与明細が10月分から半年以上もらえていない
・今年に入ってもらえるはずの源泉徴収票ももらえていない（給与明細ともに依頼はしたがそれでもくれない）

実際に業務をしている会社は常駐先となっており、派遣元となる私の所属会社の中で話をするのは基本的に同じ常駐先で働いている上司一人で、本社の人事担当とは話したことがありません。契約書や給与明細などもすべてその上司を通じて私の手元に来ています。
50人ほどの企業から分社のような形で独立採算制をとることになった別名義の会社が私の所属会社ですが、人事関係は元々の会社の方で行っているのではと思います。分社化して人事関係のことを担当する人間がいないというわけではないのに、いい加減なところが多すぎると感じています。

上記に書ききれていないいい加減なエピソードも他にあり、現在転職を考えています。
そこで確認したいのですが、これだけいい加減なことをしていても、仮に5月末（契約期間内）で契約を解除したいと申し入れて会社から拒否された場合、契約期間まで働くしかないのでしょうか？
区の総合労働相談コーナーに電話で相談した際は、会社がいい加減なことをしているんだから期間内に契約解除したいというところで争うのであれば民事扱いとなり、弁護士に相談してもらうことになると思うと言われました。
(まだ実際に拒否された訳ではありませんし転職が決まっていないので退職の意思も伝えてはいませんが、事前に確認したいと思ってのご相談です)

ご見解をお聞かせいただけますと幸いです。よろしくお願いいたします。