Grímsfjós voru háleiga frá Stokkseyri, og er þeirra getið fyrst í manntali 1703. Hjáleiga þessi hefir öndverðlega verið byggð á fjósstæði heimajarðarinnar af manni þeim, er Grímur hét og býlið er við kennt. Grímsfjós fylgdu austurparti Stokkseyrar, og hélzt svo allt til þess, er erfingjar Adólfs Petersens á Stokkseyri seldu þau Grími í Nesi um eða eftir 1880. Árið 1885 lét Grímur þau í makaskiptum við Jón Adólfsson í Grímsfjósum í staðinn fyrir Símonarhús, en 1889 seldu þeir bræður, Jón Adólfsson og Adólf Adólfsson, eignarhlut sinn í Stokkseyrinni þeim Grími í Nesi og Einari Jónssyni borgara. Munu hjáleigurnar, sem þeim hluta fylgdu, hafa verið með í sölunni, þar á meðal Grímsfjós. Eftir það gengu þau kaupum og sölum með Stokkseyrartorfunni og eru nú síðan 1935 eign ríkissjóðs ásamt henni.

Alla 18. öldina og lengur ( um 1700-1825) bjó sama ættin í Grímsfjósum.

Var það ein grein Klofaættar og náskyld Stokkseyringum, en á annan veg komin af lögréttumönnum og valdsmönnum í ættir fram. Nefnist ættbálkur sá Grímsfjósaætt, en það eru afkomendur Bjarna Jónssonar hins fyrra í Grímsfjósum. Nú hefir önnur ætt búið þar óslitið síðan 1865.