På kanten af en lille holm ved Silkeborg Langsø ligger resterne af det ældste Silkeborg. Først gården og siden slottet med dette navn var fra 1300-tallet bolig for riddere, biskopper, jyske adelsfamilier og en enkelt vinhandler. Fra reformationen i 1536 kom slottet i kongens eje som det administrative og økonomiske centrum i det store Silkeborg Len i hjertet af Jylland. Den kongelige lensmand opkrævede skatter og afgifter, mens han holdt et vågent øje med lov og orden og kristen moral blandt bønderne. Silkeborg Len leverede tømmer til flåden og brændsel til de kongelige kaminer, mens majestæten og hans hofmænd jagtede kronhjorte og vildsvin i de dybe skove. I 1664 afstod kongen slottet som afbetaling på gæld oparbejdet i de dyre svenskekrige, og i de næste 60 år forfaldt slottet, indtil det til sidst blev revet ned og genbrugt til byggeri af blandt andet Silkeborg Hovedgård.