Urodzony w nowojorskim Brooklynie w 1940 roku Joe uczył się gry w baseballa pod okiem starszego brata Franka. Mimo 18 lat gry i 14 lat kariery menedżerskiej nigdy nie udało mu się zdobyć najważniejszego tytułu. Aż do 1996 roku kiedy to właściciel New York Jankess George Steinbrenner, powierzył mu swoją drużynę.