Dvergasteinar voru hjáleiga frá Stokkseyri, og höfum vér fyrst séð þeirra getið í manntali 1703 og nefnast þar Dvergasteinn. Í Jarðabók ÁM. 1708 og jafnan síðan nefnist býlið Dvergasteinar. Hjáleiga þessi fylgdi jafnan Stokkseyrartorfunni á fyrri öldum. Hinn 13. júlí 1799 seldi mad. Þórdís Jónsdóttir á Stokkseyri tengdasyni sínum, Helga Sigurðssyni í Brattsholti, Dvergasteina „með 40 álna landskuld og dagsverk og öllum þeim herlegheitum, sem hjáleigunni fylgt hafa að fornu og fylgja ber til sjós og lands.” Hinn 16. des. 1818 seldu tengdasynir Helga, þeir Jón Bjarnason í Grímsfjósum og Jón Vigfússon í Ranakoti, Þorkeli Jónssyni skipasmið á Gamla-Hrauni jörðina, og var hún síðan lengi í ætt hans. Þann 24. febr. 1820 seldu þeir Símon og Árni Þorkelssynir erfðahlut sinn í Dvergasteinum Ólöfu, systur sinni, konu Jóns Jónssonar í Óseyrarnesi, fyrir erfðahlut hennar í Hárlaugsstöðum í Holtum. Þuríður á Kalastöðum, dóttir Jóns og Ólöfar, erfði Dvergasteina, en 15. jan. 1891 gaf hún Sigurði Eyjólfssyni á Kalastöðum og Þóru, hálfsystur sinni, konu Sigurðar, jörðina. Aftur seldi Sigurður hana 30. júlí 1898 Ólafi kaupmanni Árnasyni á Stokkseyri. Frú Margrét Árnason, ekkja Ólafs, seldi síðan hálfa Dvergasteina 20. maí 1924 Sigurði Sigurðssyni á Stokkseyri, en hinn helminginn keypti Sigurður 23. okt. 1933 af Hjálmtý Sigurðssyni. Eftir lát Sigurðar 5. okt. 1937 varð ekkja hans, Katrín Kristinsdóttir á Stokkseyri, eigandi Dvergasteina, og hefir hún nytjað þá síðan 1942.