在源平合戰的時代，平家一門曾將嚴島神社（廣島縣）的分靈祭祀在安德天皇的御座船上，當成守護神。然而，在壇之浦戰役戰敗後，神靈漂流到海岸邊，因此為了祭祀神靈，在1185年建立了社殿。1866年，高杉晉作與江戶幕府打仗時，曾在此祈禱戰勝，並將帶回來的戰利品——大太鼓，當成回禮供奉於此。直到現在，這個大太鼓仍於神社內保管。