隣人の壁を叩く音が…引越し費用の負担について -賃貸 博士-

今築5年のアパートに1人で住んでいます。
何ヵ月も前からなのですが、隣の部屋の方が夜中（2時3時）とかにほぼ毎日壁を叩くんです。この事を管理会社に相談したところ、お隣や近所の人に騒音のことを言ってくれたみたいでした。
ですが、いっこうに音は止む事はなくてまた電話し、今度は男の人が対応してたんですけど「そちらが夜中うるさいからじゃないですか？」と言われました。
確かに夜仕事で遅くに帰って来る事もありますが夜は隣の部屋に面した部屋には怖くて入っていません。
それから事情を話し1ヶ月くらい佐賀の友達の所に泊めてもらったりして家には帰らなかったんです。
もう夜中の音もなくなっていると思ったのですが全然変わっておらず・・・
本当怖くて寝れないんです。
その事を管理会社に電話したところ電話に出た女の人から私は何も聞いてないからわからないし知らないと言われました。
担当からお電話させます。と言って2日連絡なし。
仕方ないから仲介してもらった会社に相談しましたが、管理会社から連絡なし。
こちらから連絡するとまた担当がいないと言われてスグ連絡します。
と言われ担当と名乗る人からかかってきました。
その担当の方が言うにはこのアパートの壁？かなんかに問題があるとか…（響く？みたいな？）
明らかに叩いてるみたいな音なんですけど…とりあえずこの担当の人は問題を早く解決するよう頑張ります。と言われましたがその繰り返しなんです。
管理会社の電話対応も悪いし音はやまないし寝れないし…せっかく一目惚れして借りた家でしたが退去をお願いしました。
2年契約だったので違約金がかかると言われたのですが払わないといけないのでしょうか？私的には今生活保護みたいな感じのを受けているのでお金が全くありません引越し費用とか負担してもらおうと思っていたのですが…長くなって分かりにくいかもしれませんがよろしくお願いします。