Judith Hermann rejser i Jeg vil gå tilbage i tiden til den polske by Radom hvor hendes bedstefar var udstationeret under anden verdenskrig. Forfatterens 80-årige mor har ikke mange erindringer om sin far, men hun har en æske med dokumenter og enkelte fotos. Et af dem viser ham på en SS-motorcykel. Radom var engang centrum for jødisk kultur indtil nazisterne oprettede en jødisk ghetto og likviderede 33.000 jøder på to dage. Hvad bedstefarens rolle var er der ingen som ved og hans fortid er ikke noget moren taler om.

I anden del rejser forfatteren videre til sin søster i Napoli, som er arkæolog, men heller ikke søsteren er interesseret i at tale om bedstefaren og fortiden.

Jeg vil gå tilbage i tiden handler om glemsel og erindring, om tavshed og fortielse, om tomrummene imellem os.