Svend Asmussen var barn af det bedre borgerskab i København, og familien boede i en herskabsvilla på Østerbro. Om sommeren flyttede de til Hornbæk i deres store sommerhus. Det var ved en havnefest i Hornbæk, at Svend Asmussen som 12-årig spillede for publikum for første gang. Han debuterede med sin kvartet som 17-årig, hvor han også fik B.T.s prestigefyldte talentpris ”Den gyldne spore”.