Menurut cerita tutur yang diyakini oleh masyarakat setempat, candi angin terletak didukuh petung desa tempur, dibangun untuk tempat peribadatan umat Hindu yang ada diujung utara pulau jawa, pada zaman ratu shima.
Candi ini dibangun jauh sebelum candi Borobudur. Candi ini merupakan tempat untuk menyembah dewa angin yang dalam jagad pewayangan dikenal sebagai dewa bayu.
Penempatan candi angin yang letaknya kurang lebih 1500 meter diatas permukaan laut ini konon diyakini sebagai usaha untuk mendekatkan diri pada dewa yang disembah/Yang Maha Kuasa. Karena letaknya yang tinggi serta tiupan angin kencang setiap saat membuat candi ini hancur/bubrah.
Ada yang beranggapan kerusakan candi ini kemungkinan disebabkan oleh gempa bumi. Walaupun tidak ada ornamen Hindu Budha dalam bentuk ukiran batu, candi angin dibangun dengan teratur dan ada pembagian ruang. Ada tempat yang rendah dan tinggi.
Artinya ada ruang-ruang /tingkatan tertentu untuk pemujaan para dewa yang disembah. Candi angin adalah candi yang bubrah atau hancur dan tidak pernah dikunjungi oleh orang karena letaknya yang tinggi.
Ketika diketemukan beberapa petilasan berupa tiga makam dan juga benda-benda bersejarah seperti patung kecil yang terbuat dari tanah. Sampai sekarang tidak diketahui siapa yang dimakamkan ditempat itu.
Orang sering datang ke candi pada bulan Syuro hingga maulud. Orang yang memohon sesuatu dan doanya terkabulkan, biasanya akan kembali lagi ke candi angin membawa ketupat-lepet sebagai tanda terima kasih dan tanda syukur.
Untuk masuk ke dalam candi orang harus minum air kelapa muda, dan untuk masuk makam atau petilasan yang ada, pengunjung harus membawa minyak telon dan juga kembang telon. Sebelumnya juga diingatkan untuk masuk kedalam komplek candi, ada pantangan yang harus dipatuhi yaitu tidak boleh kencing dan buang air besar.
Setiap perempatan jalan yang dilalui untuk menuju ke candi, perjalanannya sangat melelahkan. Ada pantangan yang tidak boleh diucapkan yaitu mengeluh kelelahan. Apabila ada yang mengeluh kelelahan biasanya ada hal-hal yang tidak diinginkan terjadi.
Masyarakat setempat menganggap candi angin sebagai salah satu peninggalan purbakala dan sekaligus sebagai tempat yang dikeramatkan. Dikomplek candi angin terdapat berupa punden bertingkat. Sedangkan dipadukuhan Duplak yang ada dibawah candi angin, terdapat sumur batu yang bentuknya seperti duplak.
Anehnya sumur ini pada musim hujan tidak terendam dan pada musim kemarau tidak kering. Masyarakat setempat meyakini sumur duplak ini ada hubungannya dengan keberadaan candi angin dan sapto argo.
Sapto argo terletak disebelah timur candi angin. Ada anggapan masyarakat bahwa ratu shima dahulunya bertapa di candi angin dan kemudian menyempurnakan semedinya di sapto argo. Masyarakat meyakini, kehadiran dan keberadaan candi angin di wilayah dukuh petung desa tempur ini, membawa pengaruh pada kondisi masyarakat tempur.
Masyarakat setempat menganggap, di desa ini tidak akan ada orang yang kaya atau terlalu kaya dan juga tidak ada orang yang miskin atau terlalu miskin sehingga tidak bisa makan. Sebab masyarakat dilindungi oleh pandawa lima.
Tokoh pewayangan ini yang membuat desa selalu tenteram dan damai. Hal ini sesuai dengan sifat pandawa lima dalam cerita wayang tidak pernah membuat persoalan dan hidup bersama saling tolong menolong.