Bereits am 31. Januar 1809 teilte Johann seine Pläne in einem Brief an seinen Bruder, Kaiser Franz I., mit. Er wollte ein Museum aus den „von mir gegebenen Sammlungen“ errichten, wobei „die Ausbildung der Jugend Steiermarks zu befördern“ seine klar geäußerte Absicht war.
Ursprünglich sollte das Projekt in Innsbruck umgesetzt werden, was aber aus politischen Gründen nicht möglich war. Andererseits suchte Johann bereits 1808 ein Haus in Graz, um seine Bibliothek und sonstigen wertvollen Sammlungen aufzustellen.
Im Jahr 1811 wurde in Graz die revolutionäre Idee von Erzherzog Johann, nämlich einer Kombination von naturwissenschaftlich-technischer Lehranstalt und Museum, Realität.
Als Ort dafür fand sich der Lesliehof in der heutigen Raubergasse 10 in Graz – ein Palais, das vom Graubündener Architekten Domenico Sciassia in den 1670er-Jahren als Stiftshof für das Kloster St. Lambrecht errichtet worden war. Die steirischen Stände erwarben das Gebäude vom Fürsten Dietrichstein und übergaben es an Erzherzog Johann.
