Nằm cách Thành nhà Hồ chỉ vài trăm mét về phía Tây, nhà cổ Tây Giai được coi là ngôi nhà cổ đẹp và nổi tiếng nhất Thanh Hóa.
Ngôi nhà cổ này được dòng họ Phạm trong làng xây dựng từ năm 1810, ngày nay thuộc quyền sở hữu của ông Phạm Ngọc Tùng, đời thứ 7 trong dòng họ.
Theo lời kể của ông Tùng, khi xây dựng ngôi nhà này, cụ Tổ ông làm chức quan hàng Bát phẩm của triều đình nhà Nguyễn đã cho mời những thợ giỏi nhất của tỉnh Nam Hà cũ và thợ làng mộc Đạt Tài (Thanh Hóa) về làm ngôi nhà này.
Công trình được khởi công từ cuối năm 1810 và đưa vào sử dụng đầu năm 1811, với kích thước rộng 9,8m, dài 21,5m, cao 5m, gồm 7 gian (3 gian chính ở giữa làm nơi thờ tự và sinh hoạt chung, 4 gian phụ nằm ở hai bên chia thành các phòng có chức năng khác nhau).
Hầu hết khung nhà, cột, chèo, cửa… đều được làm bằng những loại gỗ quý, trong đó gỗ xoan được sử dụng nhiều nhất bởi có đặc tính nhẹ, ít mối mọt. Mỗi họa tiết hoa văn, hình điêu khắc trên các vì kèo đều có ý nghĩa riêng của nó và không trùng lặp mà luôn đối hướng, đối xứng.
Nhà có 3 cửa chính với 12 cánh, có tác dụng điều hòa bằng cách mở rộng để lấy gió mát và ánh sáng hay đóng kín để giữ ấm mùa đông. Qua 2 thế kỷ, các cánh cửa vẫn rất chắc chắn.
Cột nhà được làm bằng những loại gỗ quý, chịu lực như gỗ táu, sến, lát… Chân cột đặt trên đế bằng đá tảng mang dấu tích nhà từ đường của người Việt ở nông thôn.
Vì là nhà từ đường (nhà thờ họ) nên nhà cổ Tây Giai có nhiều đồ thờ cổ hình long, ly, quy, phượng chạm khắc cầu kỳ và các bức hoành phi, câu đối cổ vẫn còn nguyên vẹn. Đặc biệt, ngôi nhà có 8 bức câu đối viết bằng chữ Hán Nôm có in ấn tín của nhà vua.
Hoa văn trang trí trên các kết cấu gỗ của ngôi nhà rất tinh xảo, chủ đề gồm tứ linh là long, ly, quy, phượng và tứ quý gồm tùng, trúc, cúc, mai. Trong nghệ thuật kiến trúc dân gian điều này hàm ý sự hòa hợp giữa đất, trời, sự trường thọ bền vững, cao sang và an lạc.
Các chi tiết trong nhà được liên kết bằng mộng, mẹo, không sử dụng một chiếc đinh nào.
Khi gặp biến cố, có thể dỡ bỏ phần khung và sau đó lại phục dựng như cũ.
Năm 2002, trong chương trình "Bảo tồn nhà ở dân gian truyền thống ở Việt Nam", hợp tác giữa Bộ Văn Hóa - Thông tin Việt Nam và Tổ chức Hợp tác quốc tế của Nhật Bản (JICA), nhà cổ của ông Tùng đã được chọn trùng tu định kỳ.
Đến nay, ngôi nhà trải qua một lần trùng tu duy nhất và sau đó được Tổ chức UNESCO công nhận là một trong mười ngôi nhà cổ dân gian truyền thống đẹp nhất Việt Nam.
