Tên gọi lò gạch bắt nguồn từ việc nơi đây có cái lò gạch bị bỏ hoang. Năm 1945, Hòa thượng Thích Chí Hoà đã dừng chân tại Hà Tiên và lập nên một ngôi chùa nhỏ, dùng chiếc lò gạch trên làm chính điện. Do chiến tranh kéo dài, chùa bị hư hỏng, xuống cấp nặng.
Từ năm 1993, chùa Lò Gạch mới được tái thiết, với điểm nhấn là ngôi chính điện có hình dáng một lò gạch.
Tường bao bên ngoài chính điện được xây bằng những viên gạch thô.
Đỉnh chính điện đặt một cụm tượng Phật được bài trí hài hòa.
Không gian trong chính điện dù hẹp những vẫn gây choáng ngợp với bức tường quét nhũ vàng bao quanh tượng Phật ở trung tâm.
Mái vòm vút cao đã tạo nên chiều sâu, khắc phục sự hạn chế về diện tích của "lò gạch".
Ba dãy bài vị xếp song song nhau tỏa ra từ tượng Phật.
Những bức phù điêu hình Phật được xếp thành 5 hàng so le phía trên các dãy bài vị.
Ngôi chính điện kiểu "lò gạch" khiến chùa Phật Đà trở nên đặc biệt và được du khách gần xa biết tới.
