传说这香积寺闹鬼，每到太阳下山，便有个身穿白衣、舌头吐得长长的、专门捉弄人的女鬼在寺里头飘来晃去，用凄凉恐怖的声音对路过的人喊著：「恨啊，我好恨啊！我真的好恨啊！我要杀光全天下所有不仁不义的坏蛋！杀光所有的伪君子！杀光所有的龟儿子、龟孙子、龟重孙子、龟重重孙子！」
据说运气好一点的，远远看到白影便逃之夭夭；运气差一点的，就是让女鬼吓得屁滚尿流，连头发、胡子都被女鬼给拔掉一大半；这运气更差的，就是一命呜呼，和他的祖先一起到苏州卖咸鸭蛋去了。
没有人知道香积寺是从什么时候开始闹鬼的。因为香积寺已经破败很久了，寺里头没有菩萨、佛像，放眼望去，只有一堆堆瓦砾及倾倒的破旧香炉，还有几根破柱子支撑著屋顶。