Low Down perustuu Amy-Jo Albanyn vaikuttaviin muistelmiin. Amy varttui lahjakkaan, piinatun ja usein poissa olevan muusikkoisänsä, jazz-/bebop-pianisti Joe Albanyn luona. Elokuva keskittyy vuosiin 1974-1976, jolloin Amyn (Elle Fanning) tukena olivat vain rakastava, mutta ikääntyvä isoäiti (Glenn Close) sekä sekalainen joukko Hollywoodin hylkäämiä, omalaatuisia ystäviä. Kun Joe (John Hawkes) yrittää saada keikkoja, ylläpitää heroiiniriippuvuuttaan ja pysyä poissa vankilasta, Amy aikuistuu nopeasti köyhille tarkoitetussa asuintalossa Hollywoodin liepeillä. Siellä hän näkee murtuneita sydämiä ja traagisia kohtaloita, mutta myös häikäisevää kauneutta ja iloa jazzmusiikissa, joka on muokannut häntä paljon, kaupungissa ja sen asukkaissa, jotka ovat ravinneet häntä, sekä isän ja isoäidin rakkaudessa, joka piti hänet hengissä.