Svoju hráčsku kariéru odštartoval Jozef Klimko v roku 1962 za dorast Považanu, s ktorým získal 1. Miesto na majstrovstvách Slovenska v roku 1963 a 4. Miesto na majstrovstvách Československa. V roku 1968 stál za postupom do Slovenskej národnej ligy. V rokoch 1969 až 1970 bol súčasťou reprezentácie Slovenska. V roku 1970 si pripísal víťazstvo v Slovenskom pohári s tímom VŠP Nitra. Počas svojej kariéry hrával za tímy Považan Nové Mesto n/V, VŠP Nitra, Dukla Trenčín, Stavbár Žilina a Kovo Bratislava.
