Bjarnaborg er kennd við Bjarna formann Jónasson frá Magnúsfjósum, er bjó þar lengi. Húsið var byggt árið 1900 af Jóni bónda Grímssyni á Stokkseyri. Nafnið kemur fyrst fyrir í manntali 1940.