Sinh ở Würzburg, Đức, Franz Halder lớn lên trong một gia đình có truyền thống làm quân nhân. Tiếp nối truyền thống của gia đình, ông giữ chức vụ cao nhất trong quân đội là Tham mưu trưởng Bộ chỉ huy tối cao Lục quân Đức.
Để đạt được chức vụ quan trọng này, Franz Halder đi từ vị trí thấp trong Trung đoán Pháo binh dã chiến thứ ba của Quân đội Hoàng gia Bavaria. Đến cuối Thế chiến 1, Franz Halder bắt đầu làm nhiệm vụ tham mưu trong quân đội. Ông giữ chức chỉ huy đầu tiên vào tháng 10/1934 và từ từ thăng tiến.
Vào năm 1938, Franz Halder được chính quyền phát xít Đức bổ nhiệm làm Tham mưu trưởng Bộ chỉ huy tối cao Lục quân Đức. Ông đảm nhận chức vụ này từ đó cho đến năm 1942.
Trong khoảng thời gian đó, Tham mưu trưởng Franz Halder tuân theo các mệnh lệnh của Hitler, bao gồm cả cuộc diệt chủng nhằm vào người Do Thái ở Đức và một số nước châu Âu.
Thế nhưng, Franz Halder không đồng tình với việc trùm phát xít Hitler thực hiện các chiến dịch cực đoan tại các nước bị Đức quốc xã xâm lược, chiếm đóng, trong đó có Pháp.
Do vậy, về sau, Franz Halder hợp tác với người tiền nhiệm Ludwig Beck - người từ chức trước đó vì bất đồng chính kiến với Hitler để lên kế hoạch ám sát trùm phát xít. Tuy nhiên, kế hoạch ám sát Hitler này thất bại. Franz Halder may mắn thoát khỏi việc bị Hitler điều tra, xử tội.
Sau đó, Franz Halder tiếp tục 2 lần lên kế hoạch ám sát Hitler. Lần cuối cùng diễn ra vào năm 1944 khi ông đã rời quân đội. Do bị phát hiện có liên quan đến vụ ám sát hụt Hitler nên ông bị bắt giữ và đưa đến trại tập trung ở Flossenburg.
Vào cuối Thế chiến 2, Franz Halder và một số quan chức cấp cao khác trong quân đội Đức được lực lượng Đồng minh giải cứu khi giải phóng các trại tử thần của Đức quốc xã.
Với việc nắm giữ nhiều thông tin quan trọng của quân đội Đức quốc xã, Franz Halder đứng ra làm chứng phơi bày tội ác của chính quyền Hitler trong các phiên tòa xét xử tội ác chiến tranh của các nhân vật "máu mặt" trong chính quyền phát xít Đức.
Nhờ việc hợp tác thành khẩn với lực lượng Đồng minh, Franz Halder không những giữ được mạng sống mà còn được Tổng thống Mỹ John F. Kennedy khen thưởng vào năm 1961.
