Die Archäologie ist schon seit der Gründung des Joanneums im Jahr 1811 ein fester Bestandteil des Museums. Zunächst war sie ein Teil der Abteilung Geschichte – des „Archivs“. Gesammelt wurden vor- und frühgeschichtliche Quellen zur Geschichte des Landes. Erzherzog Johann rief die Bevölkerung im Zusammenhang mit der Museumsgründung auf, alle im Herzogtum Steiermark aufgefundenen Altertümer an das Joanneum einzusenden, was zu Verstimmungen in den kaiserlichen Antikensammlungen in Wien führte. Bereits 1812 wurde dieses Ansinnen von der k. k. Hofkanzlei rigoros unterbunden und archäologische Funde mussten wieder nach Wien verbracht werden. Eigene Grabungen seitens des Joanneums unterblieben für die ersten Jahrzehnte, bis im Jahr 1846 die Einsendepflicht schließlich aufgehoben wurde.
1865 wurde an der Karl-Franzens-Universität Graz ein archäologisches Kabinett eingerichtet. Dessen Leiter, Friedrich Pichler, stand auch dem 1869 gegründeten „Münz- und Antikenkabinett“ des Joanneums vor. 1887 wurde am Joanneum schließlich die Abteilung „Prähistorische Sammlung, Antiken- und Münzkabinett“ geschaffen und damit eine fachliche Ausweitung vorgenommen, 1890 übernahm Wilhelm Gurlitt dessen Leitung und wurde im selben Jahr auch Ordinarius für Klassische Archäologie an der Universität Graz.
Bis zur Bestellung eines Archäologen an das Bundesdenkmalamt, Landeskonservatorat für Steiermark, im Jahr 1986 lag auch die Verantwortung für die praktische Bodendenkmalpflege in den Händen der Archäologen am Joanneum bzw. des 1843 gegründeten Historischen Vereins für Innerösterreich, der 1850 als Historischer Verein für Steiermark selbstständig wurde und eng mit dem Joanneum verbunden war. Dieser Verein führte eigene Ausgrabungen durch und trat 1859 seine umfangreiche Sammlung an das Joanneum ab, unter anderem den Kultwagen von Strettweg. Nach 1859 bis zur Einstellung der eigenen Sammlungstätigkeit wurden die im Berichtsjahr eingelangten Fundobjekte jährlich dem Museum übergeben. Mit dem 1855 bestellten Karl Haas stellte der Historische Verein für Steiermark den ersten Landesarchäologen.
Der archäologische Sammlungsbestand am Joanneum setzte sich zunächst überwiegend aus Schenkungen zusammen, in der zweiten Hälfte des 19. Jahrhunderts wurden Objekte der antiken mediterranen Kulturen zu Vergleichszwecken angekauft. Gleichzeitig bildeten sich auch die beiden archäologischen Forschungsschwerpunkte „Hallstattzeit“ und „römische Kaiserzeit“ heraus, denen auch die bedeutendsten Objekte der Archäologischen Sammlungen zuzuordnen sind.
In der zweiten Hälfte des 20. Jahrhunderts kam es zu Differenzierungen, es wurden eigene Abteilungen für Ur- und Frühgeschichte, Provinzialrömische Archäologie und Numismatik gegründet, und schon zuvor waren die archäologischen Sammlungsbestände auf mehrere Standorte des Joanneums aufgeteilt gewesen:
Die Sammlungen des „Münz- und Antikenkabinetts“ bzw. der späteren Abteilung „Prähistorische Sammlung, Antiken- und Münzkabinett“ waren seit ihrer Gründung bis 1971 im Stammhaus des Joanneums in der Raubergasse ausgestellt. Die mittelalterlichen und neuzeitlichen Objekte wurden aus Platzmangel bereits 1889 in das Prandstetter-Teimersche Haus in der Schmiedgasse ausgelagert. 1965 wurde die Römersteinsammlung in das Schloss Eggenberg verlegt und in einem Schutzbau im dortigen Schlosspark präsentiert. Im Erdgeschoss des Schlosses wurde 1971 das „Museum für Vor- und Frühgeschichte“ eingerichtet, im Jahr 1982 auch das „Münz- und Antikenkabinett“.
Mit der Schließung dieser beiden Museen in den Jahren 2004 bzw. 2005 war der Boden für einen Neubeginn geebnet. 2009 wurden die Fachbereiche schließlich wieder in der Abteilung Archäologie & Münzkabinett zusammengeführt.
Zusammen mit der Neuaufstellung der archäologischen Sammlung ist das Lapidarium seit der Eröffnung des neuen Archäologiemuseums am 10. September 2009 für die Öffentlichkeit zugänglich.