Allerede i 1200-tallet eksisterede der en Selsøgård. Den lå formentlig nærmere Selsø Kirke, højt hævet over Selsø Sø, som dengang var en del af Roskilde fjord. Gården har helt sikkert været befæstet, og måske har kirken indgået i forsvarsforanstaltningerne. Selsøgård nævnes første gang i 1288 og tilhørte Roskilde bispesæde, som kan have fået den af en af egnens herremænd, måske selveste Absalon, som ejede gods i nærheden.

Historisk sikkert er, at bisp Ingvar af Roskilde i 1288 skænkede storgården Selsø til domprovst Jens Grand, en stridbar herre, som både kom på kant med kong Erik Glipping og senere som ærkebiskop af Lund med kong Erik Menved. Jens Grand fik gården på livstid, men den skulle leveres tilbage til bispestolen ved hans død. Bispestolen besad Selsøgård helt op til reformationen, som kom til Danmark under Christian den tredje i 1530`erne. Fra 1200-tallet til midten af 1500-tallet har Selsøgård haft skiftende ejere og i 1559 blev storgården købt af Corfitz Ulfeldt (ikke at forveksle med den uheldige rigsråd af samme navn). 

Corfitz Ulfeldt døde som ungkarl i 1563 og gården gik til hans broder Jacob Ulfeldt, der er særlig interessant i Selsøs historie. Han opførte nemlig den bygning, hvis mure står den dag i dag. Et slot i renæssancestil med stort trappetårn, svungne gavle og kviste. Da det stod færdigt i 1576, fremtrådte det rødkalket med vandrette trukne striber. Slottet blev formentlig bygget af en hollandsk arkitekt.

Til byggeriet anvendtes bl.a. en halv million munkesten fra det nedrevne Sct. Clara Kloster i Roskilde. Over hovedindgangen opsatte Jacob Ulfeldt i 1576 en bygningsplade, der stadig kan ses på slottet. Jacob Ulfeldt døde i 1593 og Selsø Slot overgik herefter til en af hans tre sønner, Mogens Ulfeldt. Godset var i Ulfeldt slægtens eje i 65 år, hvorefter det blev solgt til en adelsmand fra Rygen.

Efter flere forskellige ejere over de næste 200 år blev Selsø Slot i 1721 købt af Christian Ludvig Scheel von Plessen, en af landets største jordbesiddere. I 1728 købte han Lindholm vest for Roskilde, og godset kom herefter til at hedde Selsø-Lindholm, som stadig er i Plessen-slægtens eje.  I årene 1728-1734 blev Jacob Ulfeldts gamle renæssanceslot ombygget i tidens stil - barok, og er ikke udvendigt ændret væsentligt siden. Christian Ludvig Scheel von Plessen døde i 1752.

Den 11. maj 1829 døde den sidste adelige beboer på Selsø Slot, Agathe von Qualen, enke efter gehejmekonferensråd Christian Ludvig Scheel von Plessen II. Hendes arving, nevøen Mogens Joachim Scheel von Plessen, var ikke interesseret i at bo på Selsø Slot, hvorfor slottets inventar blev solgt på en auktion samme år, og derefter påbegyndte Selsø Slot en tornerosesøvn, som skulle vare i 144 år.

Men det var absolut ikke nogen skønhedssøvn. Slottet forfaldt utrolig meget gennem tiden. Vejrguderne var hårde ved slottet. Tagsten blev blæst af og flere vinduer faldt ud. Vand sivede ned gennem huset og løsnede loftspudset, som faldt ned. De pragtfulde stuklofter i stueetagerne slap dog med smårevner. Ubudne gæster brød ind i slottet og fjernede ovne, dørhåndtag og låse, fornemme dørstykker blev revet ned og og flere døre slået til pindebrænde. Selv malerierne gik ikke ram forbi. Stykker blev skåret ud af hofmaleren Hendrick Krocks store vægmalerier. Liv i salene skabtes dog af en skytte, som indrettede fasaneri i spisesalen, hønsehus på bagtrappen, biavl med 5 stader i modtagelsessalonen og et kobbel hunde i Den blå Salon. Riddersalen blev brugt som tørrerum for vasketøj og til opbevaring af korn. Torneroseslottet var ved at synke i knæ.

For at standse forfaldet bekostede Det særlige Bygningssyn sidst i 1950`erne en delvis udvendig istandsættelse af hovedbygningen. Men slottet blev igen overladt til ensomheden. I 1972 overtog ægteparret Grete Gunnar Nielsen og Bernhard Linder forpagtningen af slottet med det formål at restaurere og indrette det til museum. I samarbejde med Det særlige Bygningssyn og Nationalmuseets Konserveringsafdeling påbegyndte de en møjsommelig og nænsom restaurering af de ærværdige sale og gemakker. Ægteparret Linder har fået mange anerkendelser for den store indsats, de gennem 25 år har gjort for at redde "Danmarks mest jomfruelige herregård", som Nationalmuseet har udtrykt. Selsø-projektet er bl.a. i 1983 hædret med Europa Nostras diploma of merit.
 

Selsø Slot står i dag som et fornemt minde om dansk herregårdskultur. Selsø Slot med porthus og voldgravsterræn samt en del af parken er i 1995 framatrikuleret Selsø-Lindholm gods og overgået til den selvejende institution Den Plessenske Selsø Fond.

Slægten von Plessen stammer oprindelig fra Mecklenburg og hører til den tyske uradel, hvis ældste kendte medlemmer kan følges fra 1200-tallet.  En gren af slægten kom til Danmark i 1680 (Christian Siegfried von Plessen), og fra ham og hans efterkommere nedstammer greverne Scheel-Plessen. Dette slægtsnavn blev dannet 1702 ved ægteskabet mellem Christian Ludvig von Plessen I og Charlotte Amalie Skeel.