給与天引き漏れ（福利厚生費）分の返還について

会社が家賃半額負担の社宅に住んでいます。社宅に住み始めて3年経ちますが、今になって「半額の自己負担分を今まで天引きし忘れた状態で給与支払いをしていたため過払い分を返還して欲しい」と言われました。初任給の給与明細を確認した際、家賃天引きに関する記載がなかったため、総務担当者に確認したところ「天引きされている」との回答があったので、自分の手元に渡る明細には載らない項目なのかと認識し今まで特に疑問に思わずに過ごしていました。
今までは手取りの範囲で生活をしてきましたが、この先の実質的な手取り額の大幅ダウンと、返還する額を突き付けられて困惑しています。
返還しなければいけないことはわかりますが、自分にはまったく認識のない過払いでした。入社したばかりの時期ならまだしも、期間も長期間に渡っており、金額も大きいです（100万円超）。会社側も非を認めており、一括で返還は難しいので分割で少しずつという条件を提示してもらってますが、金額が金額の為、今後の生活・人生プランに大きな影響が出ると感じています。
このようなケースの場合、返還する金額の減額は認められるのでしょうか。また、認められる場合どの程度認められるのでしょうか。
この過払いにより、社会保険料等の税金関係はどのようになるのでしょうか。
年末調整等も今年分は調整が間に合うのかもしれませんが、去年、一昨年分についてはどうなるのでしょうか。ご教授いただければ幸いです。

これは私個人の感情でしかありませんが、自分としては、天引き後の給料・手取りであればとっくに転職してたので、正直だまし討ちにあった気持ちです。家賃を半額負担するという条件で入社後すぐの遠い土地への出向もしぶしぶ承諾したのにも関わらず、何年も低賃金で働かされ、挙句いつの間にか借金を背負わされていました..。