จากพงศาวดารญี่ปุ่นที่นี่เป็นสถานที่ซึ่งถูกสร้างเป็นที่พักชั่วคราวในระหว่างที่จักรพรรดิชูไอและจักรพรรดินีจิงกูเข้าปราบปรามตระกูลที่มีอำนาจในคิวชู ประทับอยู่ที่นี่ตั้งแต่ปี 193 - 200 เป็นเวลารวม 7 ปี ว่ากันว่าวังนี้ถูกทำลายจากเหตุการณ์ไฟไหม้ในยุคกลาง จากนั้นจึงได้กลายมาเป็นศาลเจ้าอิมิโนะมิยะ