山東棗莊靈芝寺起源于東漢時期，傳說東漢皇帝劉秀的一個兒子來到薛山（今雪山），勤政愛民，其治下，百姓安居樂業，商賈云集。其山南為廣納賢言，樂善好施之地方，此為善堌村的由來。后來，每年人們為了記念這位賢主，豎立神像，頂禮膜拜，尊稱之為”梵王”。
靈芝寺在山亭區雪山上，雪山本為薛山，后訛為雪山。薛山是古薛河之源，薛河為古薛國的母河，所以以此得名。此地原是舊滕縣屬地，上個世紀的七十年代許劃分而置山亭區。靈芝寺是棗莊市至今尚存的為數極少的宗教古剎之一。
寺廟內有石制僧塔一座，塔高8米，直徑1.1米，塔基作為佛教建筑通常采用的蓮花盆狀。塔身呈八棱形，覆于塔頂，上面采用淺浮雕技法刻有精美的花紋圖案。石塔整個造型玲瓏別致，裝置牢固，充分體現古代的建筑技藝和宗教藝術水平。塔身用高浮雕鐫刻“故滕縣僧會悟善歸府墓銘”，落款為“天順四年”(公元1460年)，說明此塔為靈芝寺住持僧會悟圓寂后寄放骨灰所在。故此塔對宗教考古和靈芝寺歷史研究有重要意義。除僧塔外，寺址還保存一尊元代石坐佛，形體巨大，采用圓雕技法，造型生動。在薛山東側悟真巖陡壁上，有一尊唐代摩崖造像。石窟高出薛河水面約20米，洞窟高約1.3米，寬約1米，佛像身高1米，造型古樸。
明代詩人湯節《薛山靈芝寺》詩云：
雪山千古梵王家，宏殿輝煌靜石嘩。
澗引泉聲鳴佩玉，窗含禪塔臥煙霞。
題詩客去龍歸洞，飛錫僧來月滿裟。
