賃貸マンションの入居者とのトラブルについて

賃貸マンションオーナーです｡
入居者((仮)B)とトラブルになり､困っています｡

トラブルの流れ

入居につき､内覧､契約時に
玄関扉について　若干　開閉について　コツがあることを､説明の上､新入居者Bは､承諾､契約､ 入居に至った｡｡新入居人Bの希望と不動産屋の勧めがあったのと､交換費用は､入居者Bが負担するというので､交換を了承した｡

もとの鍵は､オーナー側としては､鍵交換をしなくてもよいように､複製が簡単に作成できない海外製の鍵を使用(専用idカードがないと作成できない(idカードは､大家が管理))しており､先住人Aも鍵をすべて返却してくれたので､特に交換については､考えてなかった｡

交換については､不動産屋と鍵屋の立ち会いのもとで､行われた｡交換工事は､入居日の2日前に行われたため､交換後は､オーナーサイドでは､１回しか出入りの確認はできなかった｡特にその際は､問題なく､出入りできたため､不動産屋を通して､､明け渡しを行った｡

入居２周間ほどして､入居者Bから､不動産屋に連絡があった｡
【ゴキブリが出る｡ついでに玄関の扉についても､もう少し改善できないか？】
とのこと｡
ゴキブリに関しては､築が５０年近いのと､１階であること､を鑑みても
想像できる範囲だとは思ったが､オーナー側で､忌避材等の負担をすることにした｡
領収書レシートの提出を求めたが､ないということで､写真でもいいかとのことだったが､その場合は､実費とは､誤差が生じる場合があるか､よろいしいか､と尋ねたところ､はっきりした返事はなく､後日､写真の提出もなかった｡
玄関扉に関しては　開けずらいというばかりで､具体的な話はなく､緊急性も感じられなかった｡【ドア枠スキマの(虫の浸入を防ぐ役割もしていた)衝撃緩衝材を剥がしてもいいか】とのことだったので､【虫が入って来るリスク等を話してそれでもよかったら剥がして下さい】と回答をした｡

因みに､前入居者Aからは　玄関ドアに関して、開閉しづらいという申し出もなかった｡オーナー自身も前の鍵では､空室時､何回も出入りしており､
女性の力でもコツをつかめば､問題はなかったため､このような対応をした｡

後日､不動産屋が言うには､鍵の枠を削ると空きやすくなるので､そうしますとの断りがあり､お任せした｡
また､建具屋さんの手配もお願いしたが､日程調整等
上手くいかないようだった｡(入居者Bと連絡が取りづらいようだった｡)
不動産屋が､夜９時過ぎに現場を訪れ､鍵枠の調整を実施したようだ｡入居者と確認をして､その場は､終わったようだが､
翌日､あの後､部屋から､出れなかったと不動産屋に連絡があった｡

その後､勝手に退去､事後報告のあと､不動産屋立ち会いのもと､退去手続き｡

後日､不動産屋とオーナーで現場を確認｡

入居者Bは､契約撤回を要求｡
その他､損害賠償として､引越代､交通費､慰謝料として100万円の要求をしているという｡慰謝料に関しては､不動産屋は応じないつもりであるという｡

確かに以前より､開閉がしずらくなってい たことが判明したため､
契約撤回を了承し　翌日､不動産屋に　
敷金､前家賃､礼金について　振込みを行った｡

こちらの心象としては､鍵交換時の微妙な位置のずれ､及び､不動産屋が行った調整時の不具合が原因(でもこれは､入居者本人立ち会い確認済み)ではないかと思った｡
　
返金をしてから､３ケ月が経過しているが､ 不動産屋の顧問弁護士が了承しないため､ 玄関ドアの調整もできず､未だに次の募集もできない状況である｡

入居者が､内覧～契約～入居していた期間を合わせると６ヶ月が経過しており､
返金もすでにすんでいるので､(損害賠償はのぞく)
これ以上､長引かせるのであれば､こちらから損害賠償を要求できないでしょうか?
入居者とは連絡が取りづらいらしいです｡

長くなりましたが､どうぞよろしくお願いいたします。