I 1902 køber kunstnerparret Fritz og Anna Syberg Pilegaarden, et rødkalket stuehus omgivet af en stor have uden for Kerteminde. Her flytter de ind med deres fire børn, og i de følgende år kommer yderligere tre børn til, heriblandt Karens far, Franz Syberg, også kaldet Trylle. 

På Pilegaarden vokser Karen op hos sine forældre, Gutte og Trylle. Trylle har i mellemkrigstiden været udenlands og har studeret musikkomposition i Leipzig. Hjemme igen får han en lovende start på karrieren som komponist, men noget sker, og han lægger kompositionerne på hylden og ernærer sig i stedet som organist og frugtavler. 

Mange år senere genbesøger den voksne Karen barndommens land i et forsøg på at forstå den kunstnerslægt, hun er barn af, og den far, der har været et mysterium for hende.