Erzherzog Karl II. übernahm nach dem Tod seines Vaters Ferdinand I. 1564 die Herrschaft über den Länderverbund Innerösterreich, das sind die südöstlichen Teile der österreichischen Erblande. Dazu gehörten die Herzogtümer Steiermark, Kärnten und Krain sowie Gebiete der Grafschaft Görz, Teile Istriens und Friauls sowie die beiden adriatischen Hafenstädte Triest und Fiume (St. Veit am Flaum, Rijeka). Graz wählte er als seine Haupt- und Residenzstadt, da sie aufgrund der guten Befestigung und baulichen Einrichtungen am besten dafür geeignet schien.
Die Regierungszeit seines Vaters war einerseits durch konfessionelle Spannungen zwischen den protestantischen Landständen und katholischen Habsburgern und andererseits durch die osmanische Expansion geprägt. Innerösterreich grenzte unmittelbar an jene Gebiete im Süden Kroatiens und Ungarns, die bereits von den Osmanen kontrolliert wurden. Ab 1522 entstand daher im nahezu entvölkerten Kroatien zwischen dem osmanischen und habsburgischen Machtraum eine Pufferzone, die als Militärgrenze bezeichnet wurde. Die administrative Verwaltung der Grenze erfolgte gemeinsam mit Vertretern der Landstände und des innerösterreichischen Hofkriegsrates von Graz aus.
Erzherzog Karl II. starb 1590 in Graz und wurde im Stift Seckau beigesetzt. Auf seinem Hochgrab ist er in voller Rüstung abgebildet. Das Original dieser Rüstung steht heute im Landeszeughaus. Sie wurde um 1560 vom Augsburger Plattner Conrad Richter gefertigt, den die steirischen Landstände aufgrund seines hervorragenden Rufes nach Graz geholt hatten.