百丈寺位于江西省奉新縣百丈山大雄峰下，唐大歷年間(766-778年)縣人甘貞道創，初名“鄉導庵”，后延請懷海至此住持住持，遂改名“百丈寺。”懷海住持百丈寺后，勸于佛事，堅持“一日不作，一日不食。”的訓條，整頓禪規，別創《禪門規式》，“勵禪門之戒行，為一宗之洪范”。懷海每日登堂講法，廣收徒眾，有“玄學之徒，四方輻輳”之說。懷海講經，不務虛玄，唯求暢達，故聽者甚眾，影響頗大。
《奉新縣志》(康熙版)載：“相傳寺后常有青猿來聽經，罷則長嘯而去。”《五燈會元·洪州懷海禪師》中還記載懷海在百丈寺的一段奇遇：懷海每次登壇請經時，都有一老者混于眾僧中聽講。一日懷海請經畢，眾僧盡離去，唯老者遲遲不去。懷海問之，老者說：“我今并非人類，乃是野狐化身。因前生住此山時，有一通道術的人問我‘一個大修行的人，到底落因果否？’我答曰：‘不落因果。’只因錯說一‘落’字，便罰我五百年生為野狐身。但我至今不悟，還請大師指點！”懷海道：“應答‘不昧因果’。”老者遂大悟，感激萬分，說：“我今可以解脫，免去野狐之身了！明晨時分，還為大師為弟子收尸于山后！”翌日，僧眾往山后尋找，得死狐于山巖中，懷海命以僧禮葬之。此后，人們便稱狐死處為“野狐巖”，佛家由此引申稱不懂禪道者為“野狐禪”懷海于唐元和九年(814年)圓寂，享壽95歲，法身葬百丈山大雄峰下百丈寺西側的“大寶勝輸塔院”。唐長慶元年(821年)，唐穆宗李恒贈謚懷海“大智禪師”。
唐宣宗李忱為光王時，為武宗所忌，曾晦跡云游至百丈寺，并留吟《百丈山》詩而去。唐大中元年(847年)宣宗即位后，特敕賜百丈寺“大智壽圣禪寺”的匾額，從此百丈寺聞名全國。歷代高僧如智斌、明雪、凈泐、智源等都曾在此住持；歷代名土如柳公權、柳宗元、羅隱、蘇軾、黃庭堅、袁陟、蔡國珍、張致遠、李士奇、陰鏜、況思文等，都曾忘形于百丈山中，行吟于潦水岸邊，留下大量的詩篇和墨寶。
唐朝時，百丈寺從于原址西北，旋被毀。北宋元豐年間(1078-1085年)重建，張無盡作記。明洪武年間(1368-1398)，香火極盛，附近禪寺林立，有“三寺五廟四十八庵”之說。清朝，百丈寺經多次整修，山門大殿，宏偉寬敞，梵宇層樓，蔚為壯觀；寺后有“凌云寺”、“師表閣”依山相襯，后均被毀。清康熙年間，南昌知府葉舟重建。雍正十二年(1734年)，奉旨敕修，內府按朝延頒發的圖樣加以改造，花費七千余金，咸豐六年(1856年)石達開率太平軍駐寺十余日，佛像、僧房均被毀。咸豐十一年(1861年)，李秀成率太平軍經奉新，該寺再度被焚，所有經卷連同師表閣均付諸一炬。同治六年(1867年)，僧清德、石蘭等人化緣修理佛殿，裝修佛像。今存殘址，即為該次重修。1949年后，百丈寺僅存大雄寶殿及右側的兩棟客房，殿內正中的如來佛像在“文化大革命”期間被毀，只留下巨石砌成的佛像座及東側地藏菩薩座基。改革開放后，百丈寺又重新進行了維修，現有大雄寶殿、玉佛殿、三圣殿及伽藍殿等建筑。
