雇用契約書に記載の無い就業場所への移動辞令

はじめて相談させて頂きます。

この度、４月１日付けで転職しました。
お聞きしたいのは、その会社での雇用契約書についての内容です。

紹介会社さんの仲介で、昨年度末に内定を頂きました。
その時点で、仮の雇用契約書を提出頂きました。
仮というのは、通勤手当についての項目が入社時に通勤経路（車通勤のため距離）の申請を行い、会社側が申請内容（距離）に沿って計算し記入したものを正式版として発行するため、その時点では通勤手当の項目が未記載なため仮という扱いでしたが、その他の項目については差異はありませんでした。

仮および正式版においても、就業の場所についての記載は「本社」としか記載されていませんでした。
しかし、入社当日に所属部門の上長より、５月連休明けからＡ工場へ期間の定めなく最低１年以上行くようにとの内示を受けました。
（昨今の新型コロナの影響で、配属時期はコロナウイルス収束後となりました）
この件については、人事部も関与しておらず所属部門の独断で行った事が後に判明しました。
Ａ工場の存在は存じていましたが、今回の採用に於いてはあくまで本社採用で、将来的にもＡ工場への常駐というは話しは、面接の際にも一切出ていませんでした。

相談というのは、今回のケースの様な雇用契約書に記載の無い場所への配属命令は有効なのでしょうか。
また、この辞令を断ったことによって、会社側が雇用契約を解除すると言ったことは可能なのでしょうか。（自分的には不利益を被ることになる）

私としては、雇用は継続の方向で行きたいのですが、Ａ工場は現在の就業場所である本社からは４０分（車）でかかります。
現状、本社までの通勤も９０分（車で片道）かかっていますので、Ａ工場に常駐となると通勤は不可能なため、賃貸などを借りて引っ越しが必須となります。
しかし、家庭の事情で自宅から離れられないため、引っ越しは避けたい状況にあります。

よろしくお願いいたします。