An dieser Stelle stand im 17. Jahrhundert eine Seidenraupenzucht. Im 18. Jahrh. entstand aufdem Gelände eine Infanteriekaserne (Calwertorkaserne). Zwischen 1827-1843 wurde nachPlänen von Johann Kaspar Vogel und Ludwig Grab der heutige Gebäudekomplex als Kaserne er-stellt (Rotebühlkaserne). Die Flügel haben eine Länge von 150 m. Beim Bau wurden Steine der alten Kaltentaler Burg verwendet, die in dieser Zeit abgebrochen wurde. Im Hof dieser Kaserne nahm König Wilhelm II. von Württemberg 1914 Abschied von seinen Soldaten. Nach 1918 wurden in dem Gebäudekomplex staatliche Behörden untergebracht. Im Augenblick die Oberfianzdirektion und die Finanzämter I-III.