Narodil se 4. listopadu 1953, bydlí v Karlových Varech. V letech 1969 - 1973 studoval Gymnázium Lovosice a poté nastoupil na Vysokou školu chemicko-technologickou v Praze, kterou dokončil v roce 1978.
V letech 1978 - 1990 pracoval Josef Malý jako provozní technik, vedoucí provozu a pracovník technického rozvoje v Hnědouhelných dolech a briketárnách Sokolov. Od roku 1990 do r. 1998 byl zástupcem ředitele pro ekonomiku Rozvodného závodu Karlovy Vary ZČE, a. s.
Na začátku 90. let vstoupil do Československé strany lidové, za kterou se v roce 1998 stal náměstkem primátora statutárního města Karlovy Vary a byl jím do r. 2002. Od roku 2006 je Josef Malý členem dozorčí rady Letiště Karlovy Vary, s. r. o., od roku 2009 je jejím předsedou.
V letech 2002 - 2010 místopředsedou představenstva Karlovarská teplárenská, a. s., Od roku 2000 do současnosti je členem Zastupitelstva Karlovarského kraje a členem a od roku 2008 místopředsedou Finančního výboru.
V letech 2001 - 2010 působí Josef Malý jako viceprezident Sdružení obcí Euregio Egrensis, od roku 2007 je členem monitorovacího výboru Regionálního operačního programu regionu soudržnosti Severozápad a v roce 2009 se stal členem Lokálního řídícího výboru Cíl 3 (Česko - Sasko).
V červnu 2009 z KDU-ČSL vystoupil a je zakládajícím členem TOP 09.
