北宋时，曾任宰相的王安石晚年隐居金陵。半山园是他的住所，钟山定林寺是他的读书处，清凉寺则是他迎来送往朋友的接待、休憩之地。这缘于清凉山下秦淮河的石头津是进出金陵最主要码头，清凉寺环境清静，住持是他好友。
王安石从钟山到清凉山，有时骑马，有时骑驴。马是宋神宗賜予的，驴是自已买的。
纵情山林，寻山问水是王安石一生的喜好。他喜爱清凉山自然人文风景，年年都要来这里，甚至睡梦中还念叨：头发白了，趁还走得动，要多去看看。他写道：“青灯照我梦城西，坐上传觞把菊枝。忽忽觉来头更白，隔墙闻语趁朝时。”他登清凉山顶远眺，写下了著名的词《桂枝香.金陵怀古》，其中云：“登临送目，正故国晚秋，天气初肃。千里澄江似练，翠峰如簇。”他还写了一首抒发吊古忧今的诗《和金陵怀古》：“怀乡访古事悠悠，独上江城滿目秋。一鸟带烟来别渚，数帆和雨下归舟。萧萧暮吹惊红叶，渗渗塞云压旧楼。故国凄凉谁与同，人心无复更风流。”他从眼前的萧瑟秋景，追念南唐灭亡的历史，再看看今日宋朝的时局，发出了“故国凄凉谁与同，人心无复更风流”的感慨。
王安石是一个至情至性的人，与朋友相往来，是他晚年生活的重要内容。他与朋友道义相交，视之为知己，引之为同道，待之如手足。王安石与好友黄吉父相別，曾写《送黄吉父入京题清凉寺壁》《送黄吉父》两首诗相送。他写道：
熏风洲渚荠花繁，
看上征鞍立寺门。
投老难堪与公别，
倚岗从此望回辕。
岁晚相逢喜且悲，
莫占风日恨归迟。
我如逆旅当还客，
后会有无何得知。
与朋友相别，何时才能再相见呢，王安石发出了“后会有无何得知”的感叹。他在清凉寺山门口看到黄吉父骑上马即将离别，“难堪与公别”，不忍心与友人分别，盼望好友能早日归来，“倚岗从此望回辕”，他要在清凉山岗等侯黄吉父好友早日回来啊。
王安石在清凉寺写有十多首诗，其题目有《清凉寺白云庵》《与天鹭宿清凉寺》《送天鹭至渡口》《送黄吉父入京题清凉寺壁》《清凉寺送王彥鲁》等。从诗题看出，王安石在清凉寺接待朋友，晚上与朋友住宿于此，还随心意把诗题写在寺院墙壁上，这都反映了他与朋友的友情，与清凉寺寺僧交往密切和对寺院的深厚感情。
王安石晚年对佛教虔诚信仰，结交高僧，为《金刚经》作注，吟诗参禅，这些成了他寂寞生涯的一种抚慰。他写清凉寺是：
庵云作顶峭无邻，
衣月为衿静称身。
木落岗峦因自献，
水归洲渚得横陈。
白云飘浮在寺院上空，寺庙与山峭为邻，山上树林与寺庙作伴，一条河在不远处流过，清凉寺多么清静，真是出家为僧的好地方啊。王安石羡慕僧人隐居山林念佛坐禅的生活。
王安石从秦淮河码头接到外地朋友后，即安排到清凉寺来，与寺僧、朋友一起茶叙，听住持说佛论禅。王安石深有感悟，他在《清凉寺送王彥鲁》中写道：
空怀谁与论？梦境偶相值。
莫将漱流齿，欲挂功名事。
人世间聚散不定，至亲不能常相守，好友不能常相见。王安石写“空怀”“梦境”，悟出万事皆空，诸缘如梦，不可有执著。是身是幻，至亲至友是这样，“功名”也是如此，世间一切皆无可留恋。这首诗反映了王安石坦然的心理。与这位朋友临别时，他在《送王彥鲁》中写道：
北客伶同姓，南流感似人。
相分岂相忘，临路更情亲。
同为姓王的一对好友要分别了，怎么会相忘呢，我们已结下深情厚谊，分别的路上，没有了伤感，有的是乐观的情绪。王安石以达观心态看待别离，铺演了一种新的意境，这或许与他访僧习禅，将禅宗精神应用于别离之际不无关系。
王安石是爱茶之人，在任宰相时就说过“茶为之民用，等于米盐，不可一日以无”。他隐退金陵，身体有病，宋神宗没有忘记他，常賜给他中药及北苑茶。他接待来客，用皇帝赐予的北苑茶与客人品茶谈禅。他曾写道：“与客东来欲试茶，倦投松石坐欹斜”“深寻石路仍有粟，持以馈我因烹茶”。他还将北苑茶寄给远在洛阳的弟弟，并附诗：“石城试水宜频啜，金谷看花莫漫煎。”诗里写“石城试水”，很可能他在清凉寺与寺僧品茶论禅时，有过用石头城下水沏泡北苑茶之事。
王安石嗜茶，不爱喝酒，但在清凉山却留有一个饮酒趣事。有一次，他与郑侠在清凉寺相遇。郑侠年幼家贫，少时苦读，才学长进，王安石推荐其做官，但后来郑侠成了王安石政见上的死敌。郑侠因罪被外放，后也回到金陵。两人相见，王安石不计前嫌，郑侠也尊重王安石，相见喝酒，不便在清凉寺，就到一农户家。王安石不善酒，多饮了几口，说：
酒逢知己千杯少
郑侠也悟出此意，回道：
话不投机半句
这个被后人常用的对联即出于此，成了人们评判情感的一个佐证。
