Né à Wegscheid, en Bavière. Il souffre – tout comme son frère – d’un retard mental, de difficultés d’audition et d’élocution, et d’une mobilité réduite. Ils sont élevés tous deux reclus dans une ferme de Haute-Autriche. Leur père a souhaité les soustraire aux moqueries de l’entourage et aussi aux traitements qu’auraient pu leur infliger les occupants nazis puis soviétiques. A la mort du père, en 1982, leur mère part vivre en ville, donnant à Josef l’occasion de contacts sociaux. Il devient pensionnaire d’une institution à Ried, où Elisabeth Telsnig, historienne d’art, repère son goût pour le dessin et l’encourage. Comme le souligne Michel Thévoz, « Josef Hofer est en état de grâce ». Une grâce érotisée, indomptée, où le corps tente de prendre son essor dans le carcan du cadre.

La galerie Christian Berst à Paris présente régulièrement son travail. La Collection de l’Art Brut de Lausanne lui a consacré deux rétrospectives en 2003 et 2011 et une importante monographie.