Von der Yburg sind heute nur noch die Grundmauern des einstigen Wohnturms zu sehen. Die Burg wurde im frühen 14. Jahrhundert von den Truchsessen von Stetten erbaut. Die Burganlage besaß keinen eigenen Brunnen und so musste das Wasser mühselig über die Burgsteige heraufgeschleppt werden.

1384-87 wurde an der Stelle des heutigen Schlosses im Tal eine Wasserburg erbaut und so verlor die Yburg schnell an Bedeutung für die Stettener Herrschaft. 1443 verkauft Hans von Yberg die Burg und seinen Anteil am Ort an das Haus Württemberg, doch bereits 1490 erwarb die Stettener Herrschaft die Yburg vom Grafen Eberhard im Bart zurück.

Die im Jahr 1598 als baufällig beschriebene Yburg wird 1659 ein letztes Mal erneuert und erhält ein 4. Stockwerk aufgesetzt. 1760 läßt Herzog Carl-Eugen die Burganlage endgültig bis auf die heute sichtbaren Wände abreißen.