Namnet Lydinge betyder byn vid gräsmarken och här anlades en bosättning redan före vikingatiden. I slutet av 1200-talet hade marken kring byn genom arv och ingifte samlats i en ägares hand och hade då utvecklats till en riktig stormansgård på platsen där Lydinge säteri idag är belägen.
I slutet av medeltiden hamnade Lydinge i Uppsala domkyrkas och klosters ägo. Därifrån konfiskerades egendomen under reduktionen av kronan och övertogs 1558 av Gustaf Wasa under en kort period. Efter hans död tillföll gården släkten Fleming, som därefter under nästan 100 års tid utkämpade segslitna arvstvister med olika ägarskiften, tills de slutligen 1641 tilldömdes det rättmätiga ägandet. Släkten Fleming kom sedan att inneha Lydinge under cirka 200 år. Familjen Fleming var en framstående frälsefamilj med många genom årens lopp bemärkta och inflytelserika personer. Den förste Claes Fleming var en stark ståthållare över Finland och var bland annat djupt involverad i den svenska tronföljden. Under Gustaf II Adolfs tid fanns en annan Claes Fleming som omorganiserade den svenska flottan. En tredje Claes Fleming blev känd för att i Stockholm ha skött stadsförvaltning och skattkammare på ett effektivt sätt och är dessutom upphovsman till huvudstadens unika kvartersbenämningar.
Jöran Fleming och hans söner Carl och Jöran bestämde i början av 1700-talet att den gamla stormansgården blivit otidsenlig och beslöt då att uppföra en helt ny byggnation med en symmetrisk grundplan enligt fransk modell. I denna ingick både mangårdsbyggnad, flyglar, ekonomibyggnader och parkanläggning. Denna totala ombyggnation av säteriet finns idag till största delen kvar. I ursprunget fanns en fransk trädgård på baksidan av huvudbyggnaden och denna kompletterades omkring 100 år senare med en engelsk park norr om gårdscentrum. Av den franska trädgården finns tyvärr inget kvar idag men delar av den engelska parken finns fortfarande bevarad med gångar och broar över vattenspeglarna.
Den siste Fleming som verkade på gården var Claes Fleming den fjärde. Han beskrivs som en mycket bildad och fridsam man, som redan vid 28 års ålder invaldes i Svenska Akademien och var dessutom en stor kännare av fransk litteratur. Under hans livstid var Stora huset ett veritabelt bibliotek. Hans boksamling omfattade mer än 7 000 volymer, vilka idag utgår stommen i Uppsala Universitetsbiblioteks arkiv av fransk 1700-tals litteratur. 1831 dog Claes Fleming barnlös, varvid gården såldes till friherre Tamm på Österbybruk.
Gårdens byggnation var som mest omfattande med kvarn, mejeri, trädgårdsmästeri etcetera runt förra sekelskiftet. På själva gården fanns då ett femtontal hushåll, varav åtta stycken bara i statarlängan. Utöver detta fanns under Lydinge ett stort antal torp. Ägorna omfattade då cirka 1 000 ha. 1912 såldes Lydinge till Länna bruk som 1955 uppgick i Holmens bruk. Från denna tid brukas och bebos gården av ett flertal arrendatorer fram till 1992 då den åter blev privatägd.