ในช่วงสงครามเก็นเป คนตระกูลไทระได้ทำการอัญเชิญเทพเจ้าซึ่งเป็นเทพปกปักรักษาแห่งศาลเจ้าอิสึคุชิมะ (จังหวัดฮิโรชิม่า) ให้มาสถิตอยู่ที่เรือพระที่นั่งขององค์จักรพรรดิอันโตกุ แต่อันเนื่องมาจากเหตุการณ์การพ่ายแพ้สงครามศึกที่ดันโนะอุระ ชาวตระกูลไทระจึงเชื่อว่าวิญญาณขององค์เทพเจ้าได้ลอยมาติดที่ชายฝั่งทะเล ในปี 1185 จึงได้มีการสร้างศาลเจ้านี้ขึ้นเพื่อเป็นสถานที่ประดิษฐานพระวิญญาณของเทพเจ้า และในปี 1866 โชกุน ชินซะกุ ทะกะซุกิ ได้เดินทางมาที่ศาลเจ้าแห่งนี้เพื่ออธิษฐานขอให้รบชนะตอนครั้งทำศึกกับรัฐบาลเอโดะและได้นำกลองศึกขนาดใหญ่ของฝ่ายเชลยกลับมาเพื่อถวายเป็นการขอบคุณต่อเทพเจ้า และกลองใบใหญ่นี้ก็ยังคงอยู่ที่ในเขตของศาลเจ้าแห่งนี้มาจนถึงปัจจุบัน