Theo sử sách ghi chép lại, Hương Phi sinh khoảng năm 1745 trong một gia đình nghèo khổ thuộc tộc Hồi, gia tộc Duy Ngô Nhĩ sống tại vùng Tân Cương, Trung Quốc.
Nàng có dung mạo tuyệt thế và trên người tỏa ra một mùi hương rất đặc biệt làm say đắm lòng người. Các sử gia đã miêu tả vẻ đẹp của nàng là mặt ngọc chưa tới gần mà hương thơm đã ngào ngạt.
Đó không phải hương thơm của hoa, cũng chẳng phải hương thơm của phấn mà là thứ hương thơm rất kỳ lạ và đặc biệt như muốn thấm vào lòng dạ người xung quanh. Vì vậy nàng còn có tên gọi là Y Phách Nhĩ Hãn (vua của mùi hương).
Nhờ sắc đẹp nổi bât, mới 10 tuổi, Hương Phi đã được một lãnh tụ đạo Hồi ở vùng Tân Cương là Đại Hòa Trác đón về làm thiếp. Nhưng cuộc đời nàng đã được "đổi chủ" từ vợ thủ lĩnh người Hồi xứ Tân Cương sang phi tần được hoàng đế Càn Long sủng ái.
Chuyện kể rằng khoảng năm 1757, anh em Đại Hòa Trác khởi binh chống lại nhà Thanh, vua Càn Long trực tiếp ra lệnh cho Triệu Huệ dẫn quân bình định phản loạn nên quân Tân Cương vỡ trận thua to. Hương Phi lúc ấy 14 tuổi bị Triệu Huệ bắt làm tù binh rồi đem về dâng vua Càn Long hòng lấy lòng hoàng đế.
Một truyền thuyết khác lại kể rằng dẫu ở xa vạn dặm nhưng Càn Long đã nghe nói về sắc đẹp và mùi hương đặc biệt tỏa ra từ thân thể nàng Hương Phi nên vua đã sai Triệu Huệ đi đánh dẹp quân phản loạn một phần cũng vì để chiếm được Hương Phi về.
Nàng tiến cung như một lễ vật dành cho Càn Long và được hộ tống cẩn thận trên suốt quãng đường đến Bắc Kinh, nàng được tắm rửa hằng ngày trên đường đi bằng sữa lạc đà để không làm mất đi thứ hương thơm bí ẩn trên cơ thể mình.
Ngay lần đầu diện kiến vua, sắc đẹp của Hương Phi đã khiến cho hoàng đế đa tình Càn Long ngất ngây, say đắm. Nhưng lần đầu diện kiến vua ấy, Hương Phi đã nhất định không chịu quỳ và hành lễ theo nghi thức của nhà Thanh.
Nàng nước mắt lưng tròng, chẳng nói chẳng rằng vì hoảng loạn và nhớ nhà. Theo luật lệ hà khắc của nhà Thanh, tội khinh quân phạm thượng ấy đủ để tru di tam tộc, nhưng khi ấy, vua Càn Long đã hoàn toàn mê đắm trước vẻ đẹp nghiêng nước khuynh thành của nàng nên đã sai người đưa nàng về nghỉ ngơi và chăm sóc thật chu đáo.
Điều khiến ông trăn trở nhất đó là làm thế nào để thuần phục được mỹ nhân khiến ông điêu đứng ngay trước mặt.
Lúc ấy, một cận thần của nhà vua đã mách nước rằng vì Hương Phi vừa mới bị bắt từ cuộc phản loạn về nên trong lòng chắc hẳn còn đau đớn. Hơn nữa, từ nhỏ nàng đã sống ở Tân Cương nên có thể không hiểu luật lệ, quy tắc trong cung đình.
Để lấy lòng được mỹ nhân, ngay sau khi phong nàng làm Hương Phi, Càn Long đã rất quan tâm tới thói quen sinh hoạt và tín ngưỡng tôn giáo của nàng. Ông cho xây dựng hẳn một lễ đường Hồi giáo ở hậu cung, bài trí cảnh vật xung quanh theo đúng phong cách của người Hồi giáo.
Có lẽ đây là lần đầu tiên trong lịch sử Trung Quốc một phi tần có nguồn gốc từ một bộ tộc khác được sống theo những phong tục của dân tộc mình ngay trong hậu cung xa lạ. Điều đó đủ thấy được vua Càn Long say mê và sủng ái Hương Phi đến mức nào.
Tuy nhiên, dẫu được vua hết lòng chiều chuộng nhưng Hương Phi vẫn không động lòng. Suốt mấy năm vào cung song Hương Phi vẫn ôm nỗi sầu muộn nhớ quê mà không chịu mở lời với vua, đặc biệt nàng cự tuyệt mọi ý định sủng hạnh của vua Càn Long.
Theo sách Trung Quốc hoàng đế toàn truyện, khi vua Càn Long đưa Hương Phi đi du ngoạn Tô Châu, Hàng Châu để nàng khuây khỏa nỗi nhớ quê, trước khung cảnh nên thơ nơi đây, sẵn có chút men trong người sau buổi tiệc, vua Càn Long đã khao khát chiếm đoạt Hương Phi.
Vừa sợ hãi, vừa rối trí, Hương Phi đã rút ra một con dao trong tay áo định giết chết Càn Long nhưng không thành. Trước hành động táo bạo của nàng, vua Càn Long rất tức giận và bỏ ra ngoài. Từ đó trở đi, vua không bao giờ dám cưỡng ép người phụ nữ mà ông đã bao năm theo đuổi nữa.
Chuyện đã đến tai Hoàng Thái hậu khiến bà rất tức giận. Một lần, nhân lúc Càn Long đi tuần thú, Hoàng Thái Hậu đã cho gọi Hương Phi vào cung, buộc nàng phải tự vẫn vì những tội lỗi đã gây ra. Sau khi đi tuần thú trở về, chứng kiến cái chết của Hương Phi, vua Càn Long đã khóc rất nhiều và chìm trong nỗi thương tiếc suốt một thời gian dài.
