Tháp xây trên gò Rùa nơi xưa từ thời vua Lê Thánh Tông đã dựng Điếu Đài ở đó để nhà vua ra câu cá. Sang thời Lê Trung Hưng (khoảng thế kỷ 17-thế kỷ 18) thì chúa Trịnh cho xây đình Tả Vọng trên gò nhưng sang thời nhà Nguyễn thì không còn dấu tích gì nữa.
Sau khi Pháp hạ thành Hà Nội năm 1883 thì dân vùng ven hồ xiêu tán cả. Các quan Việt cũng bỏ sở nhiệm. Riêng có Nguyễn Ngọc Kim chức dịch làng Tự Tháp được cử làm trung gian giữa quân Pháp và người Việt, lại được chính quyền mới tín nhiệm nên ít lâu trở thành bá hộ, tục gọi là Bá hộ Kim.
Năm 1886 thấy huyệt đất trên gò Rùa hợp phong thủy ông xuất tiền xây tháp trên gò với ý định chôn hài cốt của cha vào đó. Việc không thành nhưng ngọn tháp ba tầng vẫn được hoàn tất. Vì vậy nên ban đầu Tháp này có tên là Tháp Bá hộ Kim. Vì vị trí đẹp giữa hồ, tháp nghiễm nhiên biến thành thắng tích Hà Nội.
Ngôi tháp được xây dựng trên một gò đất rộng khoảng 350m2, theo hình vuông có 3 tầng, tầng dưới xây rộng hơn, rồi thu nhỏ dần lên tầng trên, các mặt phía đông và tây có 3 cửa cuốn. Phía nam và bắc có 2 cửa cuốn nhọn ở đầu. Đỉnh 2 tầng có lan can chạy xung quanh. Bốn đầu đao đắp uốn cong dần lên vào giữa đỉnh, trên đỉnh có hình ngôi sao 5 cánh.
![IMG_0882.JPG]
(
Tầng một xây trên móng cao 0,8m. Tầng này do là hình chữ nhật nên chiều dài mở ra ba cửa, còn chiều ngang mở ra hai cửa, tất cả là 10 cửa, đỉnh nhọn như cửa các nhà thờ Thiên chúa giáo. Bên trong tầng này phân ra ba gian, các gian thông với nhau bằng các cửa ngăn, đỉnh cũng nhọn như tất cả các cửa khác. Cả tầng có 4 cửa ngăn, tổng cộng 14 cửa.
Tầng hai xây lùi vào một chút, chiều dài 4,8m, chiều rộng 3,64m, cũng chia ra ba gian, kiến trúc y như tầng một với 14 bộ cửa nhưng nhỏ hơn.
Tầng ba thu nhỏ hơn nữa, dài 2,97m, rộng 1,9m, chỉ mở một cửa hình tròn ở mặt phía Đông, đường kính 0,68m. Sát tường phía Tây có một ban thờ, không rõ thờ ai và có từ lúc nào.
Tầng đỉnh chỉ như một vọng lâu, vuông vức, mỗi bề 2m. Trên tường mặt phía Đông, bên trên cửa tròn của tầng ba có ba chữ Quy Sơn Tháp, nghĩa là Tháp Núi Rùa.
Như vậy, từ nền đất Gò Rùa lên đến đỉnh tháp là 8,8m.
Thời Pháp thuộc, trên đỉnh Tháp Rùa có dựng một phiên bản của tượng Nữ Thần Tự Do (1890-1896) (hay còn được gọi là tượng Đầm Xòe). Sang thập niên 1950 tượng này đã bị phá bỏ khi chính phủ Đế quốc Việt Nam của thủ tướng Trần Trọng Kim nắm chính quyền thay cho quân Pháp.
Đã hơn một thế kỉ tồn tại, dù có nét kiến trúc lai tạp châu Âu nhưng Tháp Rùa đã trở thành một bộ phận không thể thiếu của hồ Gươm và là một phần của tâm hồn Hà Nội. Ngọn tháp kết hợp phong cách kiến trúc Âu châu với hàng cửa cuốn gô-tích hai tầng dưới nhưng phần mái cong giữ quy thức kiến trúc Việt Nam.