Páll var talinn „rammskyggn“, enda athugull vel á margt. Hann var mjög einkennilegur maður, svo í sjón, sem í reynd: Mjög bólugrafinn í andliti, skegglaus með söðulbakað nef, rauðar kinnar, hátt enni og eldsnör en blíðleg augu. Hann virtist fremur fattur í mitti og að herðum upp, en síðan svo lotinn um herðar og háls, að svo leit út sem hann væri krypplingur. Sæi maður á hlið hans, þekktist hann langar leiðir fyrir þetta. Páll var glaðsinna en með afbrigðum hæglátur, fátalaður án víns, – en það þótti honum gott þótt eigi væri hann drykkfelldur, en ef vín sást á honum að nokkru ráði, var hann örlyndur og sagði þá frá ýmsu því er hann hafði séð af skyggni sinni og fræddi menn um ýmislegt það er að sjó laut og sem þeir vissu eigi áður. Páll átti þessi systkini: Sigurð í Karlastöðum, Þórdísi í Símonarhúsum (ömmu Páls Ísólfssonar) og Margréti (höltu Möngu). Var hún eigi minna bólugrafin en Páll, en Sigurður minna. Þórdís hafði eigi fengið bóluna. Þau voru börn Eyjólfs Pálssonar í Íragerði.

Kona Páls var Þorgerður Gísladóttir, systir móðaur minnar, Jóns í Eystri-Meðalholtum, Gísla á Stóra Hrauni og Gríms í Óseyrarnesi. Þau eignuðust ekki börn en upp ólu þau Margréti Gísladóttur Guttormssonar frá Hafliðakoti, er var gift Bjarna í Götu, bróður mínum. Þorgerður var fríð sýnum, höfðingleg á svip, feitlagin nokkuð og framúrskarandi góð og glaðlynd kona, fróð og minnug; hún var ári yngri en móðir mín og andaðist sama árið sem hún; þær urðu 84 ára hvor um sig.

Íragerðisheimilið  naut aðdáunar allra er það þekktu; Hinir fjölmörgu sjómenn er þar voru, töldu það jafnan sem heimili sitt og þau hjónin sem náskyld ættmenni eða jafnvel foreldra, enda voru þau þeim hinir bestu vinir og velunnarar. Þau voru sérstaklega barngóð, gestrisin og góð heim að sækja. Bæði voru þau saungmenn góðir, einkum Þorgerður. Betri vini held ég að Bjarni bróðir minn og Pálmar hafi eigi átt en þau Íragerðishjón, enda lærðu þeir báðir sjó hjá Páli og urðu bestu formenn. Pálmar var nokkur ár vinnumaður þeirra hjóna og formaður fyrir skipi Páls er hann lét af formennsku.

Páll var um margra ára skeið meðhjálpari í Stokkseyrarkirkju með föður mínum og var jafnan til þess tekið hversu stilltir þeir voru og siðprúðir í allri framgöngu og var oft um þá sagt er þeir voru í kirkju báðir saman en það mun oft hafa verið: „Það þarf ekki að óttast um að ekki sé allt í lagi, hér við messugjörðina, þegar Pálmararnir sem báðir voru viðstaddir“. Þeir skiftust ávalt á um það, að lesa bænina og skrýða prestinn, vísa fólki til sætis og sjá um að „allt væri í lagi“, en Þórður Grímsson var hringjari við kirkjuna, var hún ávalt vel sótt, enda prestar góðir. séra Páll Matthisen (faðir séra Jens), Páll Ingimundarson, Gísli Thorarensen og Jón Björnsson. Eftir þá komu þessir prestar: Ingvar Nilsen 1 ár sem (settur), Ólafur Helgason og síðast Gísli Skúlason, en þá voru allir þessir meðhjálparar fallnir frá. Páll í Íragerði andaðist 24. nóv. 1890, 64 ára en Þorgerður kona hans 10. maí 1914, 83 ára að aldri.