Theo sách Đại Nam Nhất Thống Chí triều Nguyễn, Phú Yên "có đầm Yến Sơn ở ngoài biển, trước kia gọi là Chóp Yến, thời Minh Mạng đổi thành Yến Sơn". Hòn Yến thuộc địa phận xã An Hòa, huyện Tuy An, tỉnh Phú Yên, ngay trước làng chài Nhơn Hội. Bên cạnh Hòn Yến, dải đá nhô ra gọi là Gành Yến, kế bên là Hòn Sụn (hay Đụn).
Nhìn từ trên cao, Hòn Yến như một con cá voi khổng lồ đang quẫy đuôi. Theo cư dân nơi đây, khi xưa yến thường làm tổ nên được đặt tên là Hòn Yến. Sau này yến di cư đi nơi khác. Có lẽ từ khá lâu rồi, nên tổ yến không được liệt kê trong mục thổ sản ở sách Đại Nam Nhất Thống Chí.
Mặc dù vậy, sản vật khác quanh Hòn Yến vẫn rất phong phú nuôi sống làng chài Nhơn Hội. Hòn Yến như một bức bình phong che chở cho ngư dân, đồng thời cũng là nơi trú ngụ của rất nhiều loại hải sản độc đáo và có giá trị cao.
Từ trên cao nhìn xuống là khung cảnh nên thơ và cũng rất ngoạn mục, với những ngư dân quăng lưới trên mặt biển êm đềm màu ngọc bích.
Những chiếc thuyền thúng rẽ sóng trên mặt biển trong xanh, nhìn thấu tầng lớp rêu phía dưới. Nếu đi xa hơn, dưới chân Hòn Yến, còn là những rặng san hô được đánh giá là một trong những rặng san hô hiếm ở Việt Nam.
Nhiều người hẳn đã nghe bài "Biển Phú Yên da diết gọi nhau về", nhưng chỉ đứng trước biển Phú Yên mới có thể cảm nhận hết câu hát "Nếu chưa một lần anh đến Phú Yên/ Anh chưa hiểu thế nào là biển gọi/ Biển Phú Yên mặn mà hạt muối/ Và trong xanh, xanh đến vô cùng"...
... và "Biển dịu dàng đôi mắt người thương/ Biển vạm vỡ sức trai từng ngọn sóng/ Như người Phú Yên vốn cần cù lao động".
Biển chính là cuộc sống của những cư dân làng chài Nhơn Hội cần cù lao động. Từ lúc 3h sáng, đoàn thuyền gắn cờ Tổ quốc của đã tiến ra khơi.
Họ làm bạn với gió và trăng, trước khi trở về cùng với ánh bình minh, mang theo những chiếc lưới căng đầy tôm cá.
Trong khung cảnh rộn rã và đầy ắp tiếng cười, tất cả cùng nhau thu hoạch, sửa sang lại thuyền, sửa lại lưới, sẵn sàng cho buổi đánh bắt tiếp theo.
Ngư dân nơi đây tin rằng ngôi đền thờ Lăng Ông Nam Hải linh thiêng nhìn ra Hòn Yến sẽ giúp thời tiết mưa thuận gió hòa, mang lại những vụ cá bội thu và một cuộc sống đủ đầy.
Từ Hòn Yến có thể nhìn ra bãi Xép phía xa, nơi được chọn làm bối cảnh bộ phim “ Tôi thấy hoa vàng trên cỏ xanh”, được chuyển thể từ truyện ngắn cùng tên của nhà văn Nguyễn Nhật Ánh. Và đó là một điểm đến hấp dẫn khác của nơi đất Phú trời Yên.
