Das Wahrzeichen der Stadt wurde auf steilen Muschelkalkfelsen erbaut, war früher Sitz der Gaugrafen und wurde bereits 1096 als »castrum vehingen« urkundlich erwähnt. Heute ist es im Besitz des Landes Baden-Württemberg. Im 16. Jh. erweitert, ließ es Herzog Karl Alexander 1734 renovieren und stärker befestigen. Später fand es als Garnison und Lazarett, ab 1842 als Arbeitshaus Verwendung. Von 1949–2014 war das Schloss Sitz des Christlichen Jugenddorfwerkes Deutschlands e. V. (CJD). Aktuell plant ein privater Investor im Schloss eine Hotel- und Gastronomienutzung zu etablieren.