很快，广兴的死讯便传到了杭州，而朝廷对于阮元的处分也一并送达。阮元自也清楚馈遗之事，自己多有遗憾，如今能以降级留任的结果告终，已经超出了自己的预料，心中的一块石头也就这样落了地。而萧山水塘，经过一月治理，也已经渐有起色，阮元、焦循等人对萧山水利做了规划，选出王宗炎、孙上骧等数名精于兴修水道的绅士，取代了先前平庸无为的几名劣绅，继续在萧山办理治水事宜，眼看规划之事告一段落，其余诸般，只需依次实行，阮元便也在正月之末回到了杭州。
二月方至，阮元也得到消息，经过多年疏浚修护，西湖水利到了这时，终于兴修完毕，而先前自己准备在西湖之中修筑的小岛，这时也已经完工，杭州百姓感念阮元治水救灾、宽政恤民之德，便将这处小岛称为阮公墩。阮元也自乘小舟，在西湖中观赏着这座新成的“阮公墩”，只觉这座小岛不仅有分遏水势之利，更是同南面的三潭印月，东南的湖心亭成鼎足而三之势，三岛相映成趣，大有传说之中蓬莱三仙岛之感，阮元眼看西湖风景秀美如斯，自也是无限惬意。
数日之后，阮元又于焦循、张鉴、许宗彦一道，前往了杭州之西的灵隐寺。这时因朱珪、翁方纲文集校刻完毕之故，阮元为存其图书刻版，特意找到了灵隐寺商议贮藏文集之事。灵隐寺中僧侣多识阮元之名，自也乐意效劳。阮元谢过各人之后，自觉难得有个清闲之日，也带着三人一并在灵隐寺中游览，观赏宝刹风景。
可这日看着看着，阮元却忽然多了一个想法，对三人道：“里堂、春冶、积卿，你们看，这灵隐寺外面香火不绝，可里面这些房舍，却都是清幽之所，现下空旷的却也还有几间。若是只将恩师和翁先生的文集存留于此，倒是大材小用了啊。所以我倒是想着，咱们也寻个时日，每个人向这灵隐寺捐一些书，咱们捐了，杭州、甚至整个浙江的士人，也一定会望风而从，到时候，说不定可以在这灵隐寺，再建一个文澜阁呢。”
“哈哈，伯元，你现在想着讨好灵隐寺啦？”焦循听着阮元想着新开一处书库的计划，也不觉哑然失笑，道：“你平日言语，不是力主儒佛有别，劝我们学圣人之道，切莫为释老所误吗？前日还听你说，这当头棒喝云云，不过迎合世人，若是读书人得此一棒，便能将圣人之言学得通透，那咱们辛勤治学，不就成了笑话啦？若是文章做不出来，当头一棒便能开窍，那岂不人人都考得进士啦？读书学习，要在勤学，要在持久，这些话，我可是记得清清楚楚呢。”
“里堂，我何时看不起这释老之学了？这里方丈寺僧，多有精通释典之人，今日我还与他们问起过‘浮屠’一词，竟作何解呢。我所反对的，不过是以佛释儒罢了，你可不要误会啊？”阮元听焦循笑话自己，也不禁据理力辩道。
“哈哈，不过老师之言，也确有道理啊，学生不在官场，有些事却反而见得比老师多啊。”张鉴也应和道：“杭州图书，最盛之处自然是文澜阁了，可文澜阁毕竟是朝廷藏书所在，我等无官无职之人，想进去借阅书籍，是难于登天啊。民间自也有藏书丰厚之人，可他们的书，就更难借了。寻常读书人最担心的，不就是许多经史典籍，他们或无力购买，或寻而不得吗？咱们若能给他们一个机会，我想啊，这书库兴建，可是不亚于再建一个诂经精舍了。”
“春冶说得是啊。”阮元也感叹道：“更何况，文澜四库，本就有许多图书未能收录，咱们再建一个书库，这些未收之书，也有了安放之处啊。你看，去年乍浦那边，商人又从日本寻了不少书回来呢。”
“老师，这话说回来，老师这收集的天下图书，还真是多啊。”许宗彦也对焦循和张鉴笑道：“前几日我去老师那里，向老师讨教天算之学，却在老师那里发现了一部《吾妻镜》，我听说，这是日本本国古籍，不想老师对这些海东史事，也多有研习啊。”
“研习算不上，不过聊以观瞻罢了。这海外之事，不说别的，积卿知道的，不也有不少吗？”阮元也打趣道：“那日与你讲论天算，你不是还说起过荷逻候星之事吗？你不也是在广州的时候，与西洋人相识，方才知晓这些天算掌故吗？所以说学问之事，无需拘于海内海外，只在于其中是不是实在的学问罢了。”许宗彦所谓荷逻候星，实际上指的是今日所言天王星，乾隆四十六年，天王星首次被发现，乾隆之末，许宗彦恰恰在广州侍奉父亲，便得知了天王星运转之事，只不过当时国人对此再无通晓之人，许宗彦也只得借用佛典中“荷逻候星”之语，来指代天王星。
“老师，这学问之事，学生从来自知，尚有许多事未能通晓。可既然咱们说起书库兴建，学生还是以为，除了鼓励杭州士人捐书以外，这灵隐寺里，最好也该立个借书之法，若是借书禁限太严了，士人们还是借不到书，若是宽了，有些心怀私念之人，竟借了书不还，那咱们这书可是白捐了啊？”张鉴想着书库之事，也对阮元补充道。
“春冶说得是，我这就去问过寺中执事之人，这书库能否兴建，之后，咱们回去也好好斟酌一番，定个条例出来。还有啊，这书库我想着，也得有个好名字啊……”阮元沉思片刻，也对三人说道：“古之士人乐于藏书者，旧有‘书藏’之名，不如就借用古人之义，将这里称为‘灵隐书藏’，古之书藏，仅为己用，今日这灵隐书藏，却是为了天下勤于读书之人，如此我等兴建书藏，自然也可以名垂于后世了。”