Ngôi đền khởi nguồn từ thời Lý. Ít người biết rằng trên đảo Ngọc từng tồn tại đền Ngọc Tượng thời Lý, đến thời Trần đổi thành Ngọc Sơn và nhiều lần sụp đổ rồi được dựng lại qua các giai đoạn lịch sử khác nhau.
Diện mạo ngày nay gắn với học giả Nguyễn Văn Siêu. Năm 1865, Nguyễn Văn Siêu đứng ra tu sửa và hoàn thiện đền, tạo nên tổng thể kiến trúc hài hòa còn được giữ gần nguyên vẹn đến hiện nay.
Cổng Nghi Môn với hai chữ Phúc – Lộc nổi bật. Cổng chính của đền Ngọc Sơn gồm bốn trụ cột gạch cùng hai mảng tường lửng khắc chữ Phúc, Lộc sơn son tạo điểm nhấn, như lời chúc bình an cho khách viếng đền.
Tháp Bút mang ý nghĩa “viết lên trời xanh”. Tòa tháp đá cao 9 mét nằm bên lối vào đền Ngọc Sơn được dựng năm 1864, khắc ba chữ “Tả Thanh Thiên” thể hiện chí khí của nho sĩ xưa và là một trong những biểu tượng thị giác đặc trưng nhất của khu di tích.
Đài Nghiên gắn với truyền thuyết bóng tháp Bút. Đài Nghiên là cánh cổng dẫn vào đền, nằm gần Tháp Bút. Trên đỉnh Đài Nghiên có đặt nghiên mực đá, tương truyền vào một số thời điểm nhất định, bóng đỉnh tháp Bút sẽ “chấm” vào lòng nghiên.
Cầu Thê Húc mang ý nghĩa đón ánh mặt trời. Cầu Thê Húc là cây cầu gỗ đỏ gồm 15 nhịp, nối bờ hồ với đền Ngọc Sơn. Tên gọi Thê Húc nghĩa là “giữ lại ánh sáng đẹp”, tượng trưng cho nguồn sinh khí và may mắn.
Đắc Nguyệt Lâu có tranh ghép sứ độc đáo. Qua cầu Thê Húc sẽ đến cánh cổng mang tên Đắc Nguyệt Lâu (lầu được trăng). Công trình được trang trí bằng hai bức tranh ghép từ mảnh sứ vỡ: Long Mã Hà Đồ và Thần Quy Lạc Thư – hai đồ hình cổ huyền bí trong văn hóa Á Đông.
Đình Trấn Ba mang ý nghĩa “đình chắn sóng”. Đình Trấn Ba nằm trước khu đền chính, được xây tám mái, tượng trưng cho sự trụ vững giữa sóng đời. Đây là điểm quan sát tuyệt đẹp hướng ra Tháp Rùa và cảnh quan hồ Gươm.
Khu đền chính thờ các nhân vật thuộc nhiều hệ tín ngưỡng khác nhau. Đền chính gồm Bái đường, trung đường và hậu cung, thờ Văn Xương, Quan Vũ, Lã Tổ và Trần Hưng Đạo cùng các tượng phụ trợ, phản ánh lớp trầm tích tín ngưỡng Việt – Hoa – Nho giáo.
Nơi lưu giữ hai tiêu bản rùa Hồ Gươm quý hiếm. Hai tiêu bản rùa – một mất năm 1967 và một mất năm 2016 – được trưng bày ở gian chái bên phải khu đền chính, gợi nhắc về huyền thoại vua Lê Lợi trả gươm cho Rùa Thần.
