Sel er fyrst nefnt, svo að kunnugt sé, í Gíslamáldaga Stokkseyrarkirkju frá 1560, þar sem sagt er, að í fyrsta lagi eigi kirkjan Sel, 20 hundraða jörð ( Ísl. fornbrs. XIII, 552, sbr. XV, 656). Í Vilkinsmáldaga Stokkseyrarkirkju frá 1397 er Sel ekki talið með eignum hennar. Má af því ráða, að kirkjan hafi ekki eignazt jörð þessa fyrr en á 15. öld. Í máldaga Gísla biskups er talað um Sel sem eina jörð, en í bændatali 1681 eru býlin orðin tvö. Jarðabók ÁM. 1708 segir svo um Sel, að það sé ein jörð, skipt fyrir löngu í tvo bæi og kallast annar Efra-Sel, en annar Syðra-Sel. Sel mun upphaflega hafa verið sel frá heimajörðinni Stokkseyri. Að öðru leyti verður rætt um bæina á Seli hvorn í sínu lagi.