Cũng như Thảo Cầm Viên thì Công Viên Tao Đàn cũng là một trong những ký ức khó quên của người dân Sài Gòn. Trải qua hằng trăm năm, Công viên Tao Đàn vẫn tồn tại và giữ được những nét xưa cũ.
Nguyên khu đất của Công viên thuộc khuôn viên Dinh Toàn quyền của Pháp.Năm 1869, người Pháp cho xây con đường Miss Clavell tách khu vườn khỏi Dinh. Ba mặt còn lại là rue Chasseloup-Laubat phía bắc, rue Verdun phía tây, và rue Taberd phía nam. Khu vườn chính thức mang tên Jardin de la Ville, nhưng người Việt quen gọi đó là Vườn Ông Thượng, hay Vườn Bờ-rô, có lẽ là phiên âm theo préau (tiếng Pháp, nghĩa là “sân lát gạch”).
Tiếp theo thành phố xây dựng thêm cơ sở trong khu vườn cho Hội Hiếu nhạc (Société philharmonique) năm 1896, Hội Tam Điểm (Franc-maçonnerie) năm 1897, và Câu lạc bộ Thể thao Sài Gòn (Cercle Sportif Saigonnais) năm 1902 gồm sân bóng đá, hồ bơi, và sân quần vợt. Sân đá bóng đó lúc bấy giờ là sân duy nhất đủ tiêu chuẩn đón những đội bóng ngoại quốc đến đấu.
Năm 1926, ở góc đường Chasseloup-Laubat và Verdun chính phủ lại xây thêm Viện Dục nhi (Institut de puériculture) để giáo dục trẻ em.
Sau khi người Pháp rút lui, Dinh Toàn quyền trở thành phủ Tổng thống và tên vườn đổi là “Vườn Tao Đàn”. Bốn con đường chung quanh cũng đổi tên thành đường Huyền Trân Công chúa, Hồng Thập tự, Lê Văn Duyệt, và Nguyễn Du. Viện Dục nhi thì được dùng làm Bộ Y tế thời Việt Nam Cộng hoà. Vườn vẫn giữ là công viên chính của thành phố.
Vườn Tao Đàn đổi tên là “Công viên Văn hoá Tao Đàn”, và có khu dành riêng cho trẻ em chơi. Câu lạc bộ Thể thao Sài Gòn cũng đổi tên là Câu lạc bộ Văn hóa, với một số cửa hàng buôn bán và Cung Văn hóa Lao động Thành phố Hồ Chí Minh. Công ty Lương thực Sài Gòn cũng mở trụ sở ở đây. Tuy nhiên, vườn vẫn được biết đến với đặc trưng là có nhiều cây xanh. Công viên còn là nơi trưng bày triển lãm hoa xuân mỗi dịp trước Tết Nguyên Đán. Đường Trương Định chạy giữa công viên, chia công viên làm hai phần. Hiện đang có dự án bãi đậu xe và trung tâm thương mại ngầm bên dưới công viên do một công ty trong nước đầu tư.
Vào những năm 1970, vườn Tao Đàn có chức năng như lá phổi của thành phố Sài Gòn. Hồi thời Việt Nam Cộng Hòa nơi đây dùng để tổ chức các cuộc triển lãm. Cũng chính nơi này đầu thập niên 70, tổng thống Nguyễn Văn Thiệu đọc diễn văn trong buổi ra mắt quân sự học đường.
Ngoài ra vườn Tao Đàn còn là nơi sinh hoạt các hội đoàn như hướng đạo Việt Nam, hướng đạo quân đội, nghĩa sinh vào mỗi thứ bảy và chủ nhật hàng tuần. Đáng nhớ nhất ở đây diễn ra hội chợ Đồng Tâm do chính phủ cùng toàn thể nhân dân cùng vận động quyên góp xây dựng Bệnh Viện Vì Dân.