据灵海庙碑铭记载：明朝洪武二十五年（1392年），海边漂浮一根巨木，渔民拾回一看，巨木镶一暗盒，藏有一张书写“杨府大使”字样的黄纸。村民遂以该木雕神像、建“灵海庙”以奉祀。自此以