ในการศึกคาเนะงาซากิสมัยนันโบคุโจ โอดะ โนบุนางะได้ทำก่อเพลิงสงครามขึ้นกับตระกูลอาซาคุระ และเพื่อเป็นการปกป้องความสงบของเมืองจากภัยอันตรายต่างๆ นับจากนั้น ศาลเจ้าเซย์เมย์จึงเป็นที่เชื่อถือว่าเป็นที่สักการะเทพแห่งเพลิง และเป็นศาลเจ้าที่คาโมโนะทาดายูกิ・คาโมโนะยาซึโนริคู่พ่อลูกเจ้าจองบ้านได้ใช้เป็นที่ศึกษาวิชาอนเมียวและใช้เป็นที่สักการะอาเบะโนะเซย์เมย์ ที่วิหารด้านหน้ามี“หินพลังศักดิ์สิทธิ์”ซึ่งใช้ในการศึกษาวิจัยวิถีแห่งอนเมียวตั้งสักการะอยู่

อาเบะ โนะ เซย์เมย์ คือ
เป็นอนเมียวจิ (จอมเวทย์) ในช่วงยุคกลางเฮอันมีประวัติที่เป็นปริศนา ท่านศึกษาดาราศาสตร์และทำนายเรื่องต่างๆ รับใช้องค์จักรพรรดิมา 3 พระองค์ กล่าวกันว่ามารดาของท่านเป็นจิ้งจอกและมีความสามารถเห็นภูตผีมาตั้งแต่วัยเยาว์ ทั้งยังสามารถควบคุมชิคิงามิ (ภูติรับใช้) ได้เรื่องราวของท่านถูกบันทึกไว้ในหนังสือ “คอนจากุโมโนกาตาริ” “โคะคนโจะมอนจู” และ “โอคางามิ”

“หินพลังศักดิ์สิทธิ์” (คิเน็นเซคิ) หินหกหลี่ยมแห่งปริศนา
ที่ศาลเจ้าเซย์เมย์ มี “หินพลังศักดิ์สิทธิ์” ซึ่งกล่าวกันว่าเป็นหินปริศนาที่เซย์เมย์ใช้ในการทำนายตั้งสักการะอยู่บนแท่นบูชาใต้พื้นโดยได้รับการนับถือเป็นวัตถุบูชา หินนี้ได้ถูกใช้อย่างนี่ยังคงเป็นปริศนาอยู่ แต่กล่าวกันว่าพลังวิญญาณของเซย์เมย์ได้สถิตอยู่ที่หินก้อนนี้ หินที่อยู่ใหม่บนแท่นสามารถมองลอดช่องเล็กๆจากพื้นลงไปจนเห็น กล่าวกันว่าหากโยนเงินทำบุญตกลงบนตัวหินสิ่งที่อธิษฐานจะกลายเป็นจริง แต่ก็ดูเหมือนว่าจะมีบางครั้งที่พลาดเงินทำบุญไม่ได้ตกลงบนหินด้วย