Năm 1901, Pierre de Coubertin - người được coi là cha đẻ của Olympic hiện đại - đã viết thư cho Tổng thống Mỹ Theodore Roosevelt, đề nghị quốc gia này đăng cai tổ chức sự kiện thể thao này. Theo đó, ban đầu Chicago được chọn làm nơi đăng cai tổ chức Olympic 1904. Tuy nhiên, sau đó, Tổng thống Roosevelt quyết định chọn St. Louis làm nơi diễn ra Olympic đầu tiên tổ chức ở Mỹ bởi nơi đây cũng được chọn làm nơi tổ chức Hội chợ Thế giới trong cùng năm đó.
Theo đó, Hội chợ Thế giới năm 1904 được tổ chức nhân kỷ niệm 100 năm ngày nước Mỹ mua vùng đất Louisiana. Do vậy, 2 sự kiện quan trọng trong năm 1904 là Hội chợ Thế giới và Olympic 1904 đều được tổ chức ở St. Louis.
Vào thời điểm đó, Chiến tranh Nga - Nhật ảnh hưởng khá lớn đến sự kiện Olympic 1904. Theo đó, nhiều quốc gia châu Âu đã không tham gia sự kiện thể thao này.
Trên thực tế, chỉ có 12 quốc gia tham dự Olympic 1904 bao gồm: bao gồm: Australia, Áo, Canada, Cuba, Pháp, Đức, Anh, Hy Lạp, Hungary, Na Uy, Nam Phi và Thụy Sĩ.
Do vậy, nhiều nội dung thi đấu trong Olympic 1904 có rất ít đối thủ cạnh tranh. Trong sự kiện đó, một vấn đề đặt ra là một số vận động viên giành huy chương trong Olympic 1904 là người nhập cư. Do vậy, không ít người đặt ra nghi vấn về quốc tịch của họ. Ví dụ như vận động viên bơi lội Francis Gailey đoạt được 4 huy chương tại Olympic 1904. Ông đã đến Mỹ trước khi diễn ra sự kiện thể thao này và tham gia câu lạc bộ Olympic San Francisco. Tuy nhiên, các nhà sử học gần đây khẳng định Gailey là công dân Australia vào thời điểm đó.
Các vận động viên đến từ các quốc gia tham gia tranh tài ở Olympic 1904 mặc đồng phục đến từ các câu lạc bộ của họ thay vì màu cờ sắc áo của tổ quốc. Ví dụ như đội bơi lội New York Athletic Club của Mỹ ở trong ảnh.
Điểm thay đổi ở Olympic 1904 đó là vận động viên giành chiến thắng được trao huy chương vàng. Trước đó, 2 kỳ Olympic trước, các vận động viên giành vị trí 1 và 2 ở các nội dung thi đấu chỉ được trao huy chương bạc và đồng tương ứng.
Olympic 1904 cũng chứng kiến một số môn thể thao lạ lùng được tổ chức thi đấu lần đầu tiên và cũng là lần duy nhất như nhảy cắm xuống bể bơi, sau đó giữ nguyên tư thế không động đậy. Theo đó, vận động viên William Dickey (Mỹ) là nhà vô địch duy nhất của môn thể thao kỳ dị này.
Olympic 1904 cũng là lần cuối cùng môn thể thao golf được tổ chức. Đội tuyển Mỹ đã giành chiến thắng ở nội dung thi đấu này. Tuy nhiên, ở hạng mục cá nhân, vận động viên người Canada George Lyon (trong ảnh) đã giành được tấm huy chương vàng.
Kéo co - môn thể thao đậm chất dân dã này là môn thi đấu chính thức tại Olympic 1904 cũng như được tổ chức cho đến năm 1920. Bên cạnh đó, Olympic 1904 còn chứng kiến một loạt scandal như phân biệt chủng tộc và gian lận trong thi đấu khiến kỳ Olympic này trở thành "thảm họa".
