Der bedeutendste Besitzer des Herrschaftsgutes von Lhota war Jan Kába aus Rybňany, der in der ersten Hälfte des 16. Jahrhundertes den italienischen Baumeister Hans Vlach nach Lhota einlud, die gotische Festung zu einem Renaissanceschloss umzubauen. Im Jahre 1597 verkauften die Nachkommen von Jan Kába aus Rybňany das Vatererbe an Vilém Růt aus Dírná. In dieser Zeit entstanden einige neue Zubauten, wie der Wirtschaftshof, die Mühle, eine kleine Kirche, aber auch das Haus Nr. 2, das der herrschaftlichen Verwaltung diente.

Im Jahre 1641 wurde Graf Vilém Slavata aus Chlum und Košumberk Eigentümer des Herrschaftsgutes Červená Lhota (Rothlhota). Während seiner Herrschaft kam es zu einem großen wirtschaftlichen Aufschwung. Die ehemalige Brauerei aus Holz wurde durch eine gemauerte ersetzt und unter dem Haus Nr. 2 wurden gewölbte Keller gebaut, die zur Lagerung des Gerstemalzes dienten. In der Chronik des Herrschaftsgutes blieb die aus dem Jahre 1758 stammende Beschreibung des Hauses Nr. 2 erhalten, Direktorenhaus genannt, mit der Aufschrift Cancelaria über dem Eingang. Eine lateinische Aufschrift unter dem Giebel besagt, dass das Haus die Arbeit, den Frieden und das Recht ehrt und Vergehen und Widerstand bestraft. Im Jahre 1835 kauften die Fürsten Schönburg-Hartenstein das Herrschaftsgut Červená Lhota. Das Haus Nr. 2 erfüllte weiterhin seine Verwaltungsfunktion. 1945 wurde das Schönburg-Hartensteinsche Herrschaftsgut vom kommunistischen Regime beschlagnahmt und diente danach als Unterkunft der Mitarbeiter der Südböhmischen Staatswälder.

1995 wurde es an private Besitzer verkauft. 2020 wurde in den historischen Kellerräumlichkeiten die Familiengalerie Helen errichtet.

Den Fachtext über das Haus Nr. 2 der Autorin Stanislava Nováková verkürzte für die Webseite PhDr. Miloslav Paulík.