Med hjælp fra en velhavende enke kom Hans Andersen på Kunstakademiet og uddannede sig som modellør, men det var som genremaler, han slog igennem – med fødebyens navn lagt til sit eget. Han blev kendt for sine skildringer af livet på landet – ikke mindst indignerede billeder af de fattiges trængsler. Dertil kom smægtende, romantiske scenerier fra forårsskove og rene landskabsbilleder. Han virkede også som portrætmaler og illustrator, ligesom han i perioder arbejdede som kunstnerkeramiker.

Under den anstændige, borgerlige overflade levede Brendekilde i over 25 år et dobbeltliv. Selv om han havde hustru og tre døtre, forelskede han sig i familiens tjenestepige, og de fik en søn sammen. Dobbeltlivet sled på ham psykisk, og han mistede kunstnerisk anseelse, fordi han måtte arbejde meget – og hurtigt – for at brødføde to familier. Da døtrene var blevet voksne, lod Brendekilde sig skille og giftede sig med sin elskede.