Der Grafiker eignete sich seine künstlerischen Fähigkeiten autodidaktisch an. Seit den frühen 60er-Jahren beschäftigte er sich künstlerisch mit Wort und Bild und galt international als einer der wichtigsten Pioniere und Vertreter der „Visuellen Poesie“. Ausgehend von der Richtung der „konkreten Poesie“ entwickelte er ab 1961 eine eigenständige Bild-Sprache und widmete sich den Problemen der Flächengrammatik. Ontologische Begriffe und Relationen, die seine größte Werkgruppe bilden, spielten dabei eine entscheidende Rolle. Ab 1963 bestanden Kontakte zur „Wiener Gruppe“. Im selben Jahr war er Teilnehmer der Ausstellung „Schrift und Bild“ in Amsterdam und Baden-Baden. Seine erste Einzelausstellung in Österreich fand 1970 in der Galerie nächst St. Stephan in Wien statt. Es kam zur Auseinandersetzung mit den Arbeiten der Futuristen und dem Werk des französischen Symbolisten Stéphane Mallarmé. Gappmayr setzte sich auch mit dem Schaffen Piet Mondrians auseinander, vor allem dessen philosophischer und menschlicher Anspruch beeinflusste ihn.
Ab Mitte der 70er-Jahre bestimmte die Zahl als neues Element seine visuelle Dichtung. 1979 begann er, seine Arbeiten auf Papier in den Raum zu übertragen. Für diese „Text-Bilder“ verwendete er Klebebuchstaben und Klebeband. Um 1989 entstanden die ersten „Text-Bilder“ – mit Leinwand überzogene Holzkörper –, die jedem einzelnen Text seinen eigenen Raum gaben. In den 90er-Jahren spielte die Farbe eine größere Rolle als bisher, vereinzelt arbeitete er auch mit der Fotografie. Neben Zeit und Raum befasste er sich in vielen Bildtexten auch zunehmend mit der Fläche, dem Bild selbst. Gappmayrs Werk umfasst etwa 2.000 Arbeiten.
1969 nahm der Künstler an der Biennale von Venedig teil. 1965 stellte er im Institut of Contemporary Arts in London aus, 2002 im Sharjah Art Museum in den Vereinigten Arabischen Emiraten und 2003 im Grazer Kunsthaus sowie in der Gallery Sonja Roesch in Houston. Parallel zu einer regen Ausstellungstätigkeit im In- und Ausland entstanden zahlreiche theoretische Schriften. 1988 wurde ihm von der Republik Österreich der Professorentitel verliehen, 1995 der Kunstpreis des Landes Tirol.