Syðra-Sel er hálflenda jarðarinnar Sels, sem að fornu var ein jörð, sjá Sel. Hálflendunnar er getið fyrst í bændatali 1681, og nefnist hún þar Sel neðra, en nálega ávallt síðan Syðra-Sel (Manntal 1703, Jarðabó·k ÁM. 1708 o.s.írv.}, og svo er enn.

Frá því á 15. öld var Stokkseyrarkirkja eigandi jarðarinnar og allt fram yfir síðustu aldamót, en kirkjubændurnir á Stokkseyri voru landsdrottnar fyrir kirkjunnar hönd, en sóknarnefndir, eftir að þær voru stofnaðar. Árið 1916 seldi sóknarnefnd Stokkseyrar og Eyrarbakka jörðina Syðra-Sel ábúandanum þar, Júníusí sýslunefndarmanni Pálssyni. En árið 1932 seldi Júníus hana Jóni bankagjaldkera í Reykjavík, bróður sínum. Loks seldi Jón Pálsson og gaf að nokkru Syðra-Selið ásamt parti úr Traðarholti og Stokkseyrarseljunum báðum Jarðakaupasjóði ríkisins árið 1939 í þeim tilgangi, að ríkið verði þeirri eign á einhvern hátt til stofnunar drykkjumannahælis. Hefir ríkið átt jörðina síðan.

Á Syðra-Seli var oft tvíbýli fyrr á tímum. Sama ættin sat þar að búi í heila öld, 1850-1950, eða frá því er Gísli Þorgilsson fluttist þangað og þar til er Bjarni Júníusson lét af búskap.