Tháp xây trên gò Rùa nơi xưa từ thời vua Lê Thánh Tông đã dựng Điếu Đài ở đó để nhà vua ra câu cá. Sang thời Lê Trung Hưng (khoảng thế kỷ 17-thế kỷ 18) thì chúa Trịnh cho xây đình Tả Vọng trên gò nhưng

Truyền thuyết trinh nữ bị chôn sống Nhiều người dân Vân Côn kể, dưới chân ngôi miếu nằm trên bốn tảng đá trắng ở đỉnh núi Bạch Tuyết có đến hàng tấn vàng bạc châu báu được chứa đầy trong một cái hầm đá