1938–1941 besuchte er die Kunstgewerbeschule in Graz. 1947–1950 studierte er an der Akademie der bildenden Künste in Wien bei Fritz Wotruba und Herbert Boeckl. 1950–1951 erhielt er ein französisches Staatsstipendium in Paris und war Schüler von Ossip Zadkine. In Paris knüpfte er Kontakte mit Laurens, Brancusi, Giacometti und anderen wesentlichen Künstlern. Begegnung und Freundschaft mit dem Dichter Paul Celan und mit Ingeborg Bachmann. 1954 nahm er an der Biennale in Venedig teil, und auch zwei Jahre später ist er dort erneut vertreten. 1954–1970 war er Lehrbeauftragter an der Akademie der bildenden Künste Wien, 1970 wurde Pillhofer als Leiter der Meisterklasse für Bildhauerei nach Graz berufen. Von 1971–1974 war er supplierender Ordinarius für künstlerische Gestaltung an der TU Graz, 1986 Gastprofessor an der Sommerakademie in Salzburg. In den Jahren 1954 und 1956 war er an der Biennale Venedig vertreten.
Zentrales Thema in Pillhofers Werk ist die menschliche Figur, in seinem Werk stehen abstrahierte und reduzierte Figuren neben realistischen Darstellungen, diese Ambivalenz erklärt er mit der engen Beziehung der Natur und seiner ständigen Auseinandersetzung mit ihr. Er nähert sich der Natur von außen, indem er sie realistisch darstellt, und andererseits setzt er sich auch mit ihrem inneren Wesen auseinander, sodass sie sich in seiner abstrakten Kunst widerspiegelt. Die künstlerische Inspiration bezieht der Künstler vom Kubismus, mit dem er sich intensiv beschäftigt. Für Pillhofer ist dies der Anlass für eine konzentrierte Auseinandersetzung mit dem Problem der Räumlichkeit und der Formanalyse. Pillhofers Lösungen sind in verdichteter Form und Reduktion einfach und elementar. Seine Materialien sind Stein, Holz, Ton und Gips sowie Metall für tektonische Raumfiguren.
1968 erhielt der Künstler den Österreichischen Staatspreis und 1979 bekommt er den Preis der Stadt Wien. 1983 wird er mit dem Würdigungspreis und 1996 mit dem Großen Verdienstkreuz des Landes Steiermark geehrt.