Kaštieľ sv. Žofie bol kedysi veľmi významnou budovou, do dnešných dní sa však z neho zachovalo len málo.
Nachádza sa v centre mesta, na Nábreží M. R. Štefánika, hneď vedľa hlavnej cesty a v blízkosti sútoku riek Váh a Revúca.
V súčasnosti vlastní zvyšnú časť kaštieľa súkromná spoločnosť a ďalšie priestory, na ktorých stál kaštieľ, boli donedávna súčasťou obchodného reťazca.
Kaštieľ bol postavený na konci 14. storočia a bol jedným z najstarších kaštieľov na Slovensku. V minulosti tu boli ubytovaní aj veľmi vzácni hostia, ako napríklad kráľ Žigmund, poľský kráľ Kazimír, Gabriel Bethlen a ďalší. Dlhú dobu slúžila ako sídlo likavského panstva, neskôr tu bola väznica, súd, kasárne, vojenská škola, daňový úrad či lesná správa. V roku 1906 sa tu napríklad konal súdny proces s Andrejom Hlinkom a Vavrom Šrobárom. Od roku 1918 sa využíval ako ubytovňa pre robotníkov. Po roku 1968 využívala jeho priestory aj sovietska armáda. Koncom 20. storočia bol už kaštieľ v dezolátnom stave. V roku 2002 boli tri štvrtiny kaštieľa zbúrané, zachovala sa len malá časť a bol tu postavený obchodný dom.