Phàn Khoái là võ tướng uy dũng dưới trướng Lưu Bang. Là người huyện Bái, Phàn Khoái còn là đồng hương với Lưu Bang. Với xuất thân nghèo khó, Phàn Khoái từng làm nghề bán thịt chó. Do quen nhau từ nhỏ nên hai người khá thân thiết. Khi Lưu Bang gây dựng sự nghiệp, Phàn Khoái với sức mạnh, võ nghệ cao cường đã đi theo hỗ trợ bạn thân. Theo đó, ông từng bước trở thành võ tướng được Lưu Bang hết sức tin tưởng.
Trong nhiều trận chiến, Phàn Khoái gan dạ, dũng mãnh xông lên giết địch và lập được nhiều chiến công. Theo ước tính, trong suốt sự nghiệp nhà binh, ông đã tiêu diệt 176 kẻ địch, bắt sống 288 người, đánh bại 7 đạo quân, hạ 5 thành ấp, bình định 6 quận, 52 huyện, bắt sống 1 thừa tướng và 11 tướng quân.
Năm 206 trước Công nguyên, Lưu Bang dẫn quân tiến vào Quan Trung. Phàn Khoái xung phong dẫn quân đối đầu kẻ địch, chém 1 đô uý, 10 lính và bắt sống 140 quân lính nhà Tần. Theo kế của Phạm Tăng, Hạng Vũ mời Lưu Bang tới dự tiệc rồi nhân cơ hội kể tội chống đối và giết chết. Sau khi nhận được lời mờ, Lưu Bang đến dự tiệc với sự hộ tống của Phàn Khoái và Trương Lương.
Khi đến nơi, Phàn Khoái được lệnh ở ngoài trong khi Lưu Bang và Trương Lương vào dự tiệc. Phạm Tăng nhìn thấy Hạng Vũ không quyết chí giết Lưu Bang nên bèn sai Hạng Trang múa gươm biểu diễn rồi nhân cơ hội giết chết Lưu Bang.
Do là bạn Trương Lương nên Hạng Bá không nỡ xuống tay giết chết Lưu Bang. Nhận thấy Lưu Bang gặp nguy hiểm, Trương Lương liền vội ra gọi Phàn Khoái vào cứu quân chủ. Khi thấy Phàn Khoái mang kiếm định xông vào lều, các binh sĩ của Hạng Vũ cản lại. Tuy nhiên, tất cả đều không phải đối thủ của Phàn Khoái.
Khi Phàn Khoái vén màn bước vào lều và trợn mắt, Hạng Vũ giật mình rồi chống kiếm quỳ nhổm dậy. Sau khi biết đó là võ tướng của Lưu Bang, Hạng Vũ liền sai lấy rượu thịt cho Phàn Khoái. Theo đó, Phàn Khoái đứng ăn uống tại chỗ trong khi một tay vẫn cầm kiếm.
Được một lát, Phàn Khoái liền nói với Hạng Vũ: "Vua Tần lòng lang dạ thú giết người nhiều không kể xiết, trị tội người như sợ không kịp. Thiên hạ đều nổi dậy làm phản. Vua Hoài Vương có giao ước với các tướng: "Ai phá được Tần, vào Hàm Dương thì phong vương". Ngày nay Bái Công là người đầu tiên phá được Tần, vào Hàm Dương, tơ hào không dám phạm, niêm phong các cung thất, đem quân về đóng ở Bá Thượng để chờ đại vương đến...
...Bái Công sai tướng giữ cửa ải là chỉ để đề phòng bọn trộm cướp ra vào và những việc bất trắc mà thôi. Bái Công khó nhọc mà công to như vậy, nhưng vẫn chưa được phong thưởng gì! Nay đại vương nghe lời bọn tiểu nhân, muốn giết kẻ có công, tức là noi theo đường lối nhà Tần đã mất! Tôi trộm nghĩ đại vương không nên làm như vậy!".
Nghe Phàn Khoái nói xong, Hạng Vũ chưa biết nói gì thì Lưu Bang gọi Phàn Khoái ra ngoài. Sau đó, Hạng Vũ cho người mời Lưu Bang vào lều nói chuyện tiếp. Trong khi Lưu Bang đang lo lắng thì Phàn Khoái liền bảo quân chủ rời đi, không cần từ biệt Hạng Vũ.
Lưu Bang nghe theo lời Phàn Khoái và nhờ Trương Lương giữ chân Hạng Vũ nên tất cả rời khỏi nơi đó một cách bình an. Về sau, Phàn Khoái dốc sức hỗ trợ, giúp Lưu Bang tiêu diệt được nhiều kẻ thù mạnh, bao gồm Hạng Vũ. Cuối cùng, năm 202 trước Công nguyên, Lưu Bang xưng đế sau khi lập ra nhà Hán. Với những đóng góp to lớn, Phàn Khoái được Lưu Bang phong làm liệt hầu, hiệu là Vũ Lâm quân. Thậm chí, Lưu Bang còn gả em gái Lã hậu là Lã Tu cho võ tướng thân tín này.
