パワハラ？労働問題？よくわかりません。

はじめまして。長文になりますがよろしくお願いします。
まず私の務める会社は民間企業ですが
入札により官公庁に入っています。
困っているのは営業所(※本来の呼び方は営業所ではありませんが、本来のものを記載してしまうと不特定多数の方に職業がわかってしまうのであえて営業所と記載しました)の上司です。

私は入社時から、回りが色々上司の悪い事を言っていても『私は被害を受けたわけではないし、本社と自分を結ぶ役目の人なんだから』とその悪口を言う輪には入りませんでした。

自分の仕事ぶり等を評価してくれて褒めて頂けば『ありがとうございます。正社員ではないですが出勤日には真面目にやっていきますのでご指導お願いします』という具合で対応してきましたが、、。

そしたら女子が私だけだからか？忘年会の席で『席変えがなくずっと班長の隣にいた、また班長もデレデレしていた』と後日酔っ払って電話してくる始末。

私は『空いている席に(少人数でしたから)座っただけで、そんな事ばかり酔っ払った状態で電話よこす位なら男性１人につき・必ず１人女子キャストがつく様な店に行けばよくて、普通に食事をする様な忘年会はもうやめませんか？私は今後開催されても参加しません』等と強く言ってしまいました。

それからは『好意があるから、、やきもちだったかな？すみませんでした』とLINEが来たりしましたが、
最近職場で私に話しかけてくる男性陣にはのべつまくなし状態で
『ここはキャバクラじゃないからな』とかたまたま入社当時からロッカーが隣だった男性に対しても『いつまでも女性の隣ではなくいい加減に離れたらどうだ？俺のロッカーと変われよ』とか言い出しました。

元々の位置はその上司が決めたもの。
私だけが女子で一番奥にしてもらい
カーテンやパーテーションをつけてもらってました。
その後女子がもう１人増えたときは
『私・男性・新人女子』という並びになりましたが、その男性も私や新人女子に気をつかって下さり、別に何の問題もないんです。
私が口が固く信用出来るからと本社からの通達事などを、いの一番に話してきますが私としては『確かに私は口固いですが、私がそんな内容聞いても仕方ないし』みたいな事が続いてました。

私は仕事上、私の性格、そんな事で私を信用して可愛がってくれてると思ってただけに『年金が入るから(上司は官公庁退職してます)働かなくていいから今後考えてよ』とか
御中元や御歳暮をしているので
『家内に写真見せたいんだよね、写真欲しいんだ』とか、、もう驚いてしまいまして。
実は私は長いストーカー事件に巻き込まれ１度は社会から離脱してしまい、、。

その後に今の会社でもつきまといみたいな件があり、私が男性に懲りている事、だから再婚も考えていない事など詳しく知っているのに、毎日がそんなで私が挨拶する男性を睨みつけたり本当に酷くて。
仕事や仕事内容は満足してますし、そんな上司のせいで職業を変えたりしたくないんです。

だけど私が誰かと話せばその相手に酷い事を言い、パワハラそのものに見える為
『私がいない方がいいのかな？』と考えているうちに以前のストーカー事件で悪くなった心療内科系の病気が酷くなってきました。上司からのLINEは置いてあります。

来月初旬に受診し今と体調が変わらないなら診断書を書くからしばらく休んでみては？と心療内科のドクターからも言われています。私は診断書をその上司や本社にどう説明すればよいかさえ、今判断が出来なくて世間から見たら独身だけど40代のおばちゃんです。なのに自分がどうすればよいかわからなくなってしまっています。

長くなりわかりにくいかと思いますが、どなたかアドバイスお願いできませんでしょうか？
よろしくお願いします。