在“蕲王万字碑”的南面，还有一座祭祀韩世忠的祠庙，宋时敕建，面阔三间，原祀韩世忠像，后悬有清林则徐谒墓时留下的对联：“祠庙肃沧浪，更寻来一万字穹碑，新焕岩前榱栋；威名镇吴越，还认取七百年华表，遥传江上旌旗。”
民国初年，有人提出灵岩山韩墓仅是衣冠冢，其真墓当在浙江湖州一带。争论由此而起。到了八十年代初，史学工作者经过多方查考，认为韩墓当在浙江湖州市西南金鸡山东麓的菁山坞，并例举了南宋《嘉泰吴兴志》等多种文献资料为凭。至于何真何伪，看来还需进一步考辨。
古往今来，无数游客慕名而来灵岩，谒韩墓，读韩碑，题诗作对，以表达对韩世忠的崇敬仰慕之情。明代吴门画派之首沈周在凭吊韩墓后写道：“下山更吊蕲王墓，十丈穹碑万古忠。”明代高僧梵琦诗云：“穹碑读未竟，归路又斜阳。”
现韩世忠墓为江苏省文物保护单位，屡有修葺。与西湖岳飞墓相呼应，成为吴山越水人文景观胜地，苏杭山水为之增色。
