Balthasar Eggenberger erwarb vor 1464 den Orthof auf den Algersdorfer Feldern, westlich der Residenzstadt Graz. In den folgenden Jahren ließ er diesen befestigten Edelsitz großzügig umbauen und erweitern. Über das Aussehen dieses Stammsitzes der Familie lässt sich nur wenig sagen. Er bestand wohl aus einem quadratischen Turm und einem L-förmigen Gebäude. Noch vor 1470 wurde in den Turm eine kleine Marienkapelle eingebaut und mit einem wertvollen Flügelaltar ausgestattet.
Auch die nächsten Generationen nahmen mehrfach Änderungen an dem Gebäude vor. Erst als Hans Ulrich von Eggenberg zu einem wichtigen Staatsmann aufgestiegen war, entsprach dieser einfache Familiensitz den geänderten Ansprüchen des jungen Fürstenhauses nicht mehr. 1625 wurde mit dem grundlegenden Umbau begonnen, die mittelalterlichen Teile wurden aber nicht abgebrochen, sondern geschickt in den Neubau integriert. Grund dafür waren einerseits der ökonomische Zwang, teures Baumaterial zu sparen, andererseits aber auch der offensichtliche Wille, das Stammen-Hauß und damit das Familienerbe nicht zu zerstören.
Noch heute treten einige ältere Bauteile aus dem 15. und 16. Jahrhundert ans Tageslicht. In den hinteren Trakten des Schlosses befinden sich ältere Fassaden, ein Portal und Fensterrahmungen mit farbiger Fassadengestaltung. Die gotische Marienkapelle im zweiten Stock des Turmes wurde sogar unverändert belassen und zum Mittelpunkt der neuen Anlage bestimmt.