白鹿寺始建于东晋，一名观音寺，又名寿光寺，距今已有1600多年，是目前有资料可考的各地白鹿寺院中历史最悠久的名刹古寺。白鹿寺距武陵城区20公里，山峰俊秀，林木繁茂，遮天蔽日。

古时白鹿寺坐落于梁山南麓东侧，环境清净，然而，经历岁月洗礼和战火烽烟，遗址仅存残垣断壁。抗日时期，曾一度作为常德女子中学校舍，“文革”期间，寺毁游客绝迹。2008年，省宗教局下发同意重建白鹿寺的批复，市委、市政府将白鹿寺的新址规划在梁山山脉的花山，行政划拨土地20亩，民间筹集建设资金4000万元，于同年底全面启动建设，历时4年多，目前寺院等主体工程全部竣工