Lille Palle begyndte at spille harmonika allerede som 8-årig og debuterede i 1955 på Bakkens nye friluftsscene i Orla Høyers “Cirkus Løvebrøl”. Han kom senere i rigtig harmonikalære hos den svenske musiker Ivar Quist. Han optrådte med en trio på Guldborgsund-Pavillonen midt i 1950erne og spillede med Per Hvids tyrolerorkester i NF-Bygningen i Nykøbing Falster. Det var Per Hvid som tog ham med til Nattergalen – Zillertal på Åboulevarden i København. Sidst i 1950erne blev han et lokalt rock’n’roll-navn i hovedstaden under navnet Palle Rock Andersen. Gennem 1960erne optrådte han på diverse spillesteder, bl.a. Københavner-Kroen samtidig med at han om dagen arbejdede på en radiofabrik. Han tog job som chauffør i et firma der solgte damefrakker og kom derfra til et appelsinlager på Grønttorvet. Efter et engagement i Finland kom han til “Rosenhaven” på Bakken og spillede om vinteren på forskellige danserestauranter. Efter engagement på La Ronde ved Frederiksberg Runddel blev han – sammen med pianisten Frank Leon – engageret til Bakkens Hvile i 1967. Her sang han vovede viser som “Madsen og storfamilien”, “Knud og Ebbe”, “Pigerne i Spanien” og “Smedens vise”. Han var på Bakkens Hvile i 6 sæsoner og blev landskendt efter en optræden i tv-programmet “Musikalske venner”, hvor han sang “Jeg er så ked a, den hænger ned a”. Senere fik han andre dansktop-hits som “Kom, put dig under dynen” i 1976 og “Flyv ikke høj’re end vingerne bær” i 1987. Palle Andersen, der bor i Gilleleje, optrådte i årene 1979 – 2010 ved Strandbakkeselskabets årlige bakkefest i byen. Hans onkel var skuespilleren Viggo Hansen. Siden 1999 har Lille Palle været gift med Lene Dahl, men parret flyttede fra hinanden i 2015.