Во второй половине 1950-х гг. родители Багнера перебрались из Венгрии в Англию, где Джо стал одним из сильнейших тяжеловесов профессионального бокса 1970-х гг. Отличался необыкновенной способностью «держать удар», за что получил прозвище «стальная челюсть». Чемпион Европы среди профессионалов в 1972-75 и 1976. Провел два боя с Мухаммедом Али в 1973 и 1975, в которых сумел продержаться все 15 раундов и проиграл по очкам. В 1977 эмигрировал в Австралию (завоевывал неоднократно звание чемпиона Австралии). Всего за карьеру Багнер одержал 69 побед, потерпел 11 поражений; один бой закончился вничью.