Kl. 04: 26, den 21. juni, tager jeg-fortælleren A afsted med en stak bøger i rygsækken. Dagen inden, blev B, den ældre excentriske mand han arbejdede som plejer for, begravet, og A har nu arvet hans herskabslejlighed på Frederiksberg på én betingelse: At han får solgt dens enorme bogsamling samt afleveret udvalgte værker til til et broget persongalleri fra B’s fortid. Alt skal væk er en roman om de bånd der vokser uden for kernefamiliens rammer, en sort komedie om de brikker, litteraturen kan samle.