Sandbjerg Slot kan spores tilbage til 1500-tallet. Omkring år 1500 nævnes Sandbjerggaard første gang, og i 1564 overdrog Kong Frederik II en trediedel af den kongelige del af hertugdømmerne til sin bror Hertug Hans den Yngre (1545-1622), der således kom i besiddelse af Ærø, Als og Sundeved i hertugdømmet Slesvig.

Hertugen lod bygge den dæmning ud mod Alssund, som endnu findes. Herved blev en vig af sundet omdannet til Møllesøen. Hans vandmølle, hvis rester endnu kan ses, var i drift, til den brændte i 1916.

Ved Hertug Hans' død i 1622 tilfaldt Sandbjerg hans efterkommere af den sønderborgske linie. Da en af disse, Hertug Christian Adolf, i 1667 gik konkurs, overgik Sandbjerg til kronen. Godset blev få år efter, i 1673, solgt til amtmand – senere storkansler – Conrad Reventlow (1644-1708) i Haderslev. Han fik kongens tilladelse til at oprette et len af Sandbjerg og sine øvrige besiddelser i Sundeved, grevskabet Reventlow-Sandbjerg. Hertug Hans' Sandbjerg lå, hvor Sandbjerggaard nu ligger – på den anden side af Møllesøen. I 1788 lod Conrad Georg Reventlow opføre et palæ på pynten ud til Alssund. Bygmester var Christian August Bohlsmann fra Sønderborg. Forpagterboligen, der opførtes i 1783, indgår sammen med Palæet, de øvrige økonomibygninger og parken i et samlet anlæg mellem Møllesøen og Alssund – det nuværende Sandbjerg Gods.

Slægten Reventlow ejede Sandbjerg helt frem til 1930.

1787-88 gennemførte Conrad Georg Reventlow Sandbjerggårds udparcellering, hvorved 300 tdr. af hovmarken blev solgt til bønderne i 14 parceller. Husmændene fik godt 100 tdr., og resten, ca. 186 tdr.. Skovene og Møllesøen blev liggende som stamparcel under hovedgården. Den nuværende hovedbygning, Palæet, er opført fra 1787 til 1788 efter tegninger af Christian August Bohlsmann og fredet.

I årene fra 1864 til 1920 førte stedet en ret omskiftelig tilværelse som højskole, husholdningsskole og hestestutteri.
Ved lensafløsningen i 1924 overgik Sandbjerg til fri ejendom, og efter Christian-Einar Reventlows død i 1929 blev Sandbjerg solgt til den københavnske overretssagfører Knud Dahl og hans hustru, Ellen Dahl, født Dinesen. Ellen Dahls søster var Karen Blixen. Efter Knud Dahls død åbnede hun Sandbjerg for kulturpersonligheder og videnskabsmænd, og i 1954 skænkede hun godset til Aarhus Universitet. Ved hendes død i 1959 overtog universitetet den fulde dispositionsret over Sandbjerg Gods.

Grevskabet Valløs våben

Dronning Anna Sophie f. Reventlow blev i 1713 udnævnt til Grevinde af Vallø

Hier Ruhet in Gott Der Hoch 
Wohlgebohrne Herr Henning  
Reventlau, Ritter, Herr auf  
Glasau, Altenhoff und Gottes 
gabe Ihro Königl Maj. zu 
Dennemark Norwegen Hoch 
betreuten Geheimbte und Land 
Racht Ambtman zu Flensburg  
ist Gebohren zu Glückstadt  
Anno 1640 den 24sten Januarÿ  
des Abens um 5 Uhr: Im Herrn ent 
schlaffen zum Kiel Ao 1705 den 30 
sten January umb ein  
Uhr seines Alters 64 Jahr 7 Monate und 6  
Tage dessen Seele Gott genaedig sey. 
 
Der Gott dem Könige  
Dem Werten Vaterlande  
Den Seinen var getreu  
Ein Teurer Werther Man  
Ein Recht Nathanael.  
Ruht hie verscharrt im Sande Die Seel  
ist wo sie stets  
In Gott sich Freuen kann.