Lääne-Saksamaad esindanud Wolfermann debüteeris olümpiamängudel 1968. aastal Mexico Citys ja saavutas 16. koha. Neli aastat hiljem tuli ta Müncheni mängudel olümpiavõitjaks 90 meetri ja 48 sentimeetri pikkuse viskega, edestades seejuures Mexico City olümpiakulda lätlast Janis Lusisit kõigest kahe sentimeetriga.

1973. aasta kevadel võttis Wolfermann enda nimele maailmarekordi, kui viskas kodumaal Leverkusenis 94.08, nihutades aasta varem Lusisi poolt püstitatud tippmarki 28 sentimeetri võrra. Ta hoidis maailmarekordit 1976. aastani, mil ungarlane Miklos Nemeth tuli Montrealis olümpiavõitjaks 94.58-ga. Wolfermann ei saanud olümpiavõitu käevigastuse tõttu kaitsta.

Nii 1972. kui ka 1973. aastal valiti Wolfermann Lääne-Saksamaa aasta meessportlaseks.

Lisaks odaviskele tegeles Wolfermann ka kelguspordiga. Selles kujunes tema tipphetkeks 1979. aastal Euroopa karikal bobisõidus saavutatud viies koht.