Der Neubau des Hauptgebäudes erfolgte von 1842 – 1846 durch Freiherr (Excellenzherr) Franz Ludwig von Stauffenberg. Es handelt sich hierbei um einen der Biedermeierzeit entsprechenden Bau mit Walmdach. Das dreigeschossige Gebäude, in West-Ost-Richtung erbaut, fügt sich gut in das erhaltene Ensemble ein. Allerdings ist es sehr schlicht und schmucklos.
Der Großneffe des Bauherrn, Freiherr Franz von Stauffenberg (Reichstagspräsident 1876 – 1879) sprach von einem „Haus von wenig ansprechender Sachlichkeit".
Theodor Pfizer, ehemaliger Oberbürgermeister von Ulm und Freund der Gebrüder Alexander, Berthold und Claus von Stauffenberg meinte: „Das Schloss ist ein schlichtes Landhaus anstelle einer bewehrten Burg".
Einziger Fassadenschmuck war ein Wappen über dem Haupteingang (Freitreppe zur Gartenseite). Bei der anstehenden Sanierung soll nun, in naher Zukunft, wieder das Wappen der Grafen von Stauffenberg am selben Platz angebracht werden.
Das Lautlinger Schloss ist trotz vieler Umbauten in seiner allgemeinen Bausubstanz gut erhalten. Das Gemäuer besteht aus 60 – 80 cm dicken Bruchsteinmauern die mit einem Putz versehen sind. Innen finden wir wuchtige Fachwerkwände und Holzbalkendecken. Im Grundriss misst das Gebäude 12,58 m in der Breite und 21,91 m in der Länge. Bis zur Dachtraufe sind es in der Höhe 11,57 m und die Gesamthöhe beträgt 16,37 m.
Als das Gesamtensemble in den Gemeindebesitz und später in den Besitz der Stadt Ebingen, heute Albstadt, überging, war die Nutzung als Museum für die Sammlung Jehle sicherlich eine ausgezeichnete Idee.
Der Umbau des unter Denkmalschutz stehenden Gebäudes begann Ende des Jahres 1976. Die Nutzung als Museum war vorgegeben, im ersten Obergeschoss wurde der ehemaligen große Salon als Gedenkzimmer für die Schenken von Stauffenberg eingerichtet und das Ortsamt des Stadtteiles Lautlingen in den weiteren Räumen untergebracht. Im Erdgeschoss befindet sich heute der Konzertsaal für die weithin bekannten Lautlinger Schlosskonzerte.
Der Umbau eines ehemaligen Wohngebäudes in ein Museum mit einem 125 qm großen Konzertsaal brachte allerdings größte Eingriffe mit sich. Das ganze Gebäude musste bestehenden Vorschriften angepasst werden. Fast 1/3 der Innenwände wurde entfernt und das Deckengebälk mit 12 massiven Stahlträgern abgefangen. Der Bau ist nicht vollständig, sondern nur etwa zur Hälfte unterkellert. Im nicht unterkellerten Bereich, von Süden her gesehen die linke Hälfte des Hauses, ruhten die Fußböden auf einer Balkenlage. Durch verschiedene Umbauten seit der Erbauung hatte sich allerdings die Statik so nachteilig verändert, dass diese Balkenlage komplett entfernt werden musste. Das Bodenniveau im EG konnte durch diese Maßnahme um 50 cm abgesenkt werden, damit die für Konzertsäle notwendige Raumhöhe erreicht werden konnte. Die Stukkaturen wurden im Rahmen einer Meisterprüfung des Stuckateurhandwerks angebracht.
Leider wurde vor dem rigorosen Umbau eine vernünftige Bauaufnahme versäumt. Es existieren weder fotografische Aufnahmen noch Pläne. Durch die tatkräftige Mithilfe von Gräfin Nina von Stauffenberg und Graf Berthold von Stauffenberg konnte bislang nur das erste Obergeschoss wieder komplett rekonstruiert werden.
Eine weitere groß angelegte Renovierung erfolgte im Jahre 2005. Neben der Außenrenovation wurde auch der komplette Innenraum aufgefrischt, die Boden konserviert und eine neue Heizanlage eingebaut.
In der ersten Oktoberwoche 2005 wurden die Instrumente der Sammlung Jehle wieder in das Haus zurückgebracht.In den ehemaligen Räumen des Ortsamtes wurde eine Stauffenberg -Ausstellung installiert, die 2007 ihre Pforten öffnete.
Wenn man heute den Schlosshof durch das Nord-Tor betritt, fällt sogleich die große Schlossscheuer ins Auge. Dieses Ökonomiegebäude, das früher nicht nur Speicher, sondern auch zugleich Stallung für die Pferde und weitere Tiere war, besteht heute nur noch zu einem Teil in der originalen Bausubstanz. Das Gebäude zog sich ursprünglich vom unteren Eckturm fast die ganze Ostseite belegend, zum oberen Turm. Nach neu aufgefunden Unterlagen wurde im Jahre 1865 der Pferdestall um eine Fensterachse vergrößert. Erst bei dieser Baumaßnahme stellte man die bauliche Verbindung zwischen Treppenturm und Schloss-Scheuer her. Noch 1870, als ein Anbau für ein Göpelwerk (von Menschen oder Tieren zu betreibende Drehvorrichtung zum Antrieb von Arbeitsmaschinen) auf der Rückseite der Scheuer geplant wurde, existierte die große Scheuer, die sich auf eine Mauerlänge von etwa 75,3 m zog. Jedoch schon 1899 taucht in einem weiteren Grundriss die verkürzte Scheune auf, es fehlt das obere Gebäude mit einer Gesamtfront von ca. 36,9 m. Der große Abriss, von dem Pfarrer Pfeffer 1923 spricht, forderte lediglich noch einen kleinen Teil im oberen Bereich von etwa 15,5 m Frontlänge. Das einzige Zeugnis für diesen letzten Umbau ist ein Schriftstück von Pfarrer Albert Pfeffer, der die künstlerisch gefertigte Wetterfahne beschrieb, die aus diesem Grunde abgenommen und am 27. Juni 1923 auf den verkürzten Bau wieder aufgesetzt wurde. Während der ältere Kernteil als Stall benutzt wurde, befand sich im Fachwerkteil die Remise und ein Schweinestall.
So finden wir heute eine Schlossscheuer vor, die durch dreimalige, große Veränderungen sehr viel an Originalsubstanz eingebüßt hat. Lediglich 1/3 des Gesamtkomplexes ist noch erhalten. Nach langen Jahren des Dornröschenschlafes und vielen guten und weniger guten Ideen soll die Schlossscheuer in mittelfristiger Zukunft nun zu einem Begegnungsort für die Bürgerinnen und Bürger der Stadt Albstadt werden. Die Bauarbeiten haben bereits begonnen und sollen bis Oktober 2010 beendet sein.
Das heutige Forsthaus, ein Schmuckstück in Fachwerk, ist in dieser Funktion noch gar nicht so lange belegt. Es handelt sich hier eindeutig um den herrschaftlichen Fruchtkasten. Also, eine Scheuer um die Abgaben der Lautlinger zu verwahren. Erst zu Beginn des 20. Jahrhunderts wurde das Gebäude, das ebenfalls noch aus der ursprünglichen Substanz stammt, umgewidmet. Als ihm dann noch das ehemalige Glockentürmchen des alten Lautlinger Rathauses aufgesetzt und die passende Uhr
(Ostgiebel) von den Mitbürgern gespendet wurde, war die Idylle perfekt. Die beiden Zifferblätter der Uhr stammen vom „großen Kasten" in Ebingen, da das Original beim Rathausabbruch 1975 zerstört wurde. Das originale Uhrwerk zeigte im übrigen nur die Stunden an und befindet sich heute, fragmentarisch erhalten, vor dem Stauffenberg-Gedenkzimmer. Der Zugang zum Forsthaus erfolgt
über den großen, steinernen Rundturm. In ihm hat sich die schöne, hölzerne Spindeltreppe samt der barocken Bretterbalustrade erhalten. Heute beherbergt dieses Gebäude den Sitzungssaal des Ortschaftsrates und eine großzügige angelegte Wohnung.
Die Umfassungsmauer des Gesamtareals ist trapezförmig angelegt. Ihre Höhe ist unterschiedlich und man findet neben verschiedenen Durchlässen (heute teilweise vermauert) auch noch so genannte Schießscharten. Aufgrund der geringen Höhe musste kein sonst üblicher Wehrgang angelegt werden, aber in den Ecken befinden sich kleinere Rundtürme. Diese stehen im Mauerverband mit separatem Zugang. Der nordöstliche Turm wird vom schwäbischen Albverein, der südöstliche vom Verein der Sportfreunde genutzt. Der Turm im Südwesten ist ursprünglich erhalten und steht leer. Als vierten Turm finden wir den nordwestlichen, der bereits beim Forsthaus beschrieben wurde.
Bleibt zum Schluss noch das Gesindehaus. Ein einstockiger Bau mit Satteldach. Seit der Erbauung im 14./15. Jahrhundert das Wasch- und Backhaus des Schlosses. Wie ein erhaltener Grundriss zeigt, wurde erst 1921 eine Wohnung für Bedienstete der gräflichen Familie eingebaut. Die daran anschließende Schäfer-Wohnung wurde zwischen 1900 und 1921 abgebrochen. Nach dem zweiten Weltkrieg fanden hier Flüchtlinge aus dem heutigen Jugoslawien Unterkunft. Seit langen Jahren ist in diesem Komplex die Ortsgruppe des schwäbischen Albvereins und die Kolpingfamilie untergebracht.