Smit groeide op in Amsterdam. Hij doorliep de mulo, zat drie maanden op de toneelschool en kreeg les van Ruth Horna. Daarna had hij enige tijd een kantoorbaan en werkte hij als vertegenwoordiger. In 1955 werd Smit bij de hoorspelkern van de NRU geëngageerd. Een jaar daarna volgde bij het NNTG zijn theaterdebuut onder leiding van Frits van Dijk en Guus Hermus.
Bekendheid verkreeg Ger Smit in 1962 door de kinderserie Mik & Mak van de VARA, waarin hij een titelrol vervulde naast Donald Jones. Smit was eind jaren zestig een van de drie stemacteurs die de personages in De Fabeltjeskrant van een stem voorzag (zie hieronder). In 1974 was Smit de eerste die in Nederland zijn stem leende aan Bert uit Sesamstraat. Hij deed ook onder meer de stemmen in de tweede serie van Paulus de boskabouter[3] (1974-1976) en De Smurfen (onder andere Grote Smurf, Potige Smurf en Bolle Gijs). In de tekenfilmserie Nils Holgersson, die in de jaren tachtig werd uitgezonden op de televisie, diende hij als verteller en sprak hij de stem in van onder andere Smirre de vos. Ook was hij te horen in De klokkenluider van de Notre Dame als de aartsbisschop. In de animatieserie over Lucky Luke vertolkte hij de stem van Rataplan.