Das Herbarium ist das Herzstück der botanischen Sammlungen. Es beinhaltet mehr als 650.000 Herbarbelege, wovon jedes einzelne gleichsam als Archivstück das Vorkommen einer bestimmten Pflanzenart an einem bestimmten Ort zur angegebenen Zeit dokumentiert.
Das Herbarium der Farn- und Blütenpflanzen wurde von Erzherzog Johann im Zuge der Joanneums-Gründung begründet. Zahlreiche Belege aus dem 19. Jahrhundert stammen nicht nur aus dem heutigen Gebiet Österreichs, sondern auch von den ehemaligen Kronländern der Balkanhalbinsel. In der zweiten Hälfte des 20. Jahrhunderts gelangten vor allem Belege aus der Steiermark in ihren heutigen Grenzen in die Sammlung.
Seit 1985 erfährt das Herbarium der Großpilze beachtliche Zuwächse durch die Sammeltätigkeit des Arbeitskreises Heimische Pilze; der geografische Schwerpunkt liegt dabei auf der Steiermark, inklusive angrenzender Gebiete.
Bedeutsam sind auch die bryologischen Sammlungen (Moose) von Johann Breidler und Julius Glowacki; zusammen trugen sie in der zweiten Hälfte des 19. Jahrhunderts bis zum Beginn des Ersten Weltkriegs über 80.000 Moos-Belege zusammen.
Eine kleine Spezialsammlung aus dem 19. Jahrhundert ist die Xylothek. Dabei handelt es sich um eine „Holz-Bibliothek“ mit Kassetten in Buchform, von denen jede eine bestimmte Gehölzart dokumentiert. Die Kassetten sind aus dem jeweiligen Holz gearbeitet, ihr Inneres zeigt unter anderem Blätter, Zweige, Blüten und Früchte der jeweiligen Art. Über 400 kunstvoll gefertigte Bände umfasst die Xylothek des Joanneums.
Von großem kulturhistorischen Wert ist auch die pomologische Sammlung. Sie stammt aus der zweiten Hälfte des 19. Jahrhunderts und umfasst über 300 Modelle von verschiedenen Obstsorten, mehr als die Hälfte davon sind Apfelsorten.
