鉄筋コンクリートマンションでの騒音に悩まされ… -賃貸 博士-

階下の住人の騒音についての相談です。
先月、鉄筋コンクリートの単身者向けマンションに引っ越してきたばかりです。

階下の住人のテレビ音や音楽の重低音が響いてきて、夜眠れません。睡眠不足で体調も崩しましたし、仕事にも影響が出始めています。
昼はまだ我慢できますが、22時〜2時までずっと鳴り響いているので、管理会社と大家に対処をお願いしたところ、何もしてくれませんでした。
騒音がする時に大家に来てもらったところ、「自分には聞こえない、鉄筋コンクリートだから生活音が聞こえるはずがない！お前が神経質なだけだ、幻聴ではないのか？」と一方的に罵られて終わりました。結局、マンションの住人に対しての注意などは一切行われませんでした。管理会社は実際管理してないから何もできない、の一点張りでした。
騒音は友人に来てもらった際にはっきり聞こえると言っていたので幻聴ではありません。
騒音の録音を試みましたが、重低音のためはっきり録音はできませんでした。

まだ越して来て1ヶ月も経過してませんが、引っ越しを検討しています。契約期間内の退去なので違約金がかかるそうですが、あまりにも納得できない対応でしたので支払いたくありません。この場合、違約金を支払う必要はあるのでしょうか？

よろしくお願いします。