賃貸を改装するのは違反ですか？

違反の可能性は低くないと思います。

退去時には、原状回復が必要です。一般的な賃貸借契約書には、「借主は契約終了時には本物件を原状に復して明け渡さなければならない」といった定めがあります。ですから、棚を壁に設置したり、お部屋を改造したりすることは、契約条項に違反している可能性があり、借主の負担で復旧させなければならないと判断できます。
また、貸主（大家）の許可なしでの改装や改造をすることは原状回復の代金以外にも損害賠償が発生する可能性もあります。判断に迷った時は、賃貸借契約の確認をする、貸主（家主）へ確認をする、この二つの確認を行って下さい。
　
最後に補足事項として、
入居者が退去した後、お部屋をどこまで入居当時の状態に戻すのか？また、貸主側、借主側どちらが負担すべきか？
については、国土交通省から『原状回復をめぐるトラブルガイドライン』という指針が出ていますので参考にして頂きたいと思います。
解り易くお伝えすると、誰が住んでも発生するような損耗等は「通常使用」と考えられ、貸主の負担となります。
逆に誰が住んでも必ずしも発生しないような損耗等、または、誰が住んでも発生するような損耗等ではあるが、借主（入居者）の管理が悪いために損耗等が拡大したものについては「通常使用」とは認められないので借主負担となります。