Han er mest kendt for sin lyrik, men han skrev også romaner, essays og debatbøger om billedkunst m.m. Han debuterede i 1943 med digtsamlingen "Grønne digte", og digtet "Regnmaaleren" herfra er optaget i Kulturkanonen. Et hovedtema i Sarvigs forfatterskab er det moderne menneskes krisesituation og udsathed i en verden uden faste normer, hvortil den eneste løsning synes at være nåden og kærligheden i en religiøs forstand. Ole Sarvig modtog mange priser for sit forfatterskab, og fra 1972 var han medlem af Det Danske Akademi.

"er et kupagtigt mesterstykke ... Spændende, underholdende, fortrolig, fuld af livsens godhed og en smule ondskab er den. Desuden er den en Danmarks-satire af den allervenligste slags og derfor den allerfarligste. En provinsidyl så udførlig og genkendelig at det går op for en hvor vanvittig livet leves her ...

Hvis man blandede Hans Scherfig og Frank Jæger og dividerede med Svend Gønge, ville man måske få et resultat der mindede vagt om Ole Sarvigs burleske. Den er skrevet med kærlighed og skarphed og en original opfattelse af klicheerne i det danske liv i Danmark og på de kanariske øer. Den er fuld af ømme og skøre detaljer i et klart nuanceret sprog, der er roligt og sanset og ser vejen rundt for læseren." – Torben Brostrøm, Information