佐伯荘の領主緒方惟栄が京都男山の石清水八幡宮を勧請したもので、当初は城山山頂に鎮座しました。慶長9年(1604年)佐伯藩祖毛利高政が鶴屋城を築く際に現地へ移設され、城鎮守として城山八幡と号しましたが、鎮座の地名によって白潟八幡とも称しました。