公園位于南京五臺山余脈小倉山，原為曹雪芹祖上林園。它是江南著名的私人花園。清代江南三大著名花園之一。現在地面上的主要建筑已經不存在了，只有遺址。
隨源的歷史可以追溯到明末的吳應姬焦園，清康熙時期是江寧編織曹寅家族園林的一部分。曹家的姻親富察曾經說過，隨源是《紅樓夢》中的一個大觀園。后來，接任江寧編織的隋赫德被稱為隋編織園和隋園。清乾隆十三年(1748年)，袁枚買了這個花園，叫隨源，死后葬在隨源。
公園在太平天國時期被夷為平地，檸檬無存。后來，太平軍開荒種糧，拆毀了公園，運走了公園里的寶藏。世界著名的花園變成了一個農場。1923年7月，金陵女子大學校址永久移至公園，原為江蘇省文物保護單位。
隨園的建筑相當能體現袁枚的匠心獨運。袁枚在遺囑中曾說：隨園一片荒地，我平地開池沼，起樓臺，一造三改，費用不算。奇峰怪石，重價購買，綠竹萬竿，親自種植。用具是檀梨文梓，雕漆槍金；玩物是唐碑，商彝夏鼎，書是青田黃凍，名手雕刻；端硯是蕉葉青花，古風格多，是江南北富裕家庭所無有的。可見，隨園配套的器物，古玩的奢華，花費巨大。
隨園景區建設相當精致。過紅土橋，就是隨園。柴扉北向，入扉緣短籬，穿修竹，行綠蔭，曲折通門。入院，四桐角立，面東屋三對，管鑰全園。屋西沿籬下坡，為入園徑。北入內室，屋右拾級登回廊。順廊而西，一閣，為登指樓臺勝利之初，內藏當代名賢投詩，稱詩世界……北折入藤畫廊，秋藤很古，根居室內，盤旋出戶上高架，布陰滿庭。循廊登小倉山房，陳方丈大鏡三，晶瑩剔透，庭中花鳥樹石，寫影鏡，別有天地。……東偏關室，玻璃代紙窗，納花月，拒風露，兩壁放宣爐，冬炭，溫如春，不知霜雪為寒。……齋邊繞南出，說水精域，滿窗嵌白玻璃，湛然空明，如游玉。拓鏡屏又南出，說藍天，都是藍玻璃。……登上綠曉閣，朝陽初升，萬綠齊曉，翠微(亭)白塔，聚景窗前。下梯東轉，說綠凈軒，都是綠玻璃，掩映四山，樓臺竹樹，秋水長天，一色暈綠。就花園窗戶的裝飾而言，它使用了當時中國非常罕見的玻璃。它的顏色包括藍色、綠色和白色，創造了藍天的藍色水晶世界、冰晶玉潔的白色世界和綠楊樹垂柳的綠色世界。
袁枚死后，他的后代繼續經營公園，公園很有名。許多人參觀并欣賞公園的風景。由于游客眾多，公園的門檻被踐踏，每年更換一兩次。袁枚的孫子袁祖志在《花園瑣事》中記載:一般、都統、督、撫、司、道，或者第一次來任所，或者說白門，一定要來玩，地方官員在假花園里設宴。花園里的人大多是春秋兩季之年，則秋游的人，更不可勝算。總有一兩萬有一兩萬人，而送考者、貿易者，又有幾萬人，總而言之，幾十萬人左右。既來白下，就要跟著花園走，所以每年花園的門檻會更容易一兩次。”
袁枚晚年定居南京，修建花園，為南京打造了一個著名的中國文化品牌，包括《花園詩》、《花園食品清單》等文化作品，筆寶貴的文化財富。他建議恢復隨園的文化歷史遺跡。雖然花園里的建筑已經消失了，花園里老人的墓地也被掃走了，花園里的歷史概念已經不存在了，但花園的原址仍然可以找到，即使不能重建花園里的建筑，至少可以豎起一塊石碑，告訴人們花園的歷史淵源，讓人們記住一位文化老人住在這里，這片熱土誕生了花園詩、花園食品訂單等文化文章。”
