5月17日夜蔡元培到了上海。18日上午他与来访的蒋梦麟、黄炎培、沈恩孚等人面议良久，具体的商谈内容没有直接资料，但此后，蔡元培的态度显然有所松动。
这可由他20日复北洋当局电报为证：“奉大总统指令慰留，不胜愧悚……政府果曲谅学生爱国愚诚，宽其既往”，那么“元培亦何敢不勉任维持，共图补救”。
电文表明，蔡元培实际上是“有条件的”接受了当局的“慰留”，愿意回校“维持、补救”。
数日后黄炎培、蒋梦麟致胡适信亦可作旁证：“回校复职事，孑公已允。此事若不另生枝节，大学可望回复原状。”
但世事难料，枝节还偏偏就是生出来了。蔡元培于5月21日到达杭州，很快就洞悉北洋当局“留他是假，去他是真”，故他于26日复电当局：“卧病故乡，未能北上”，这就意味着拒绝了当局的“慰留”。
6月6日，北洋当局也终于失去了耐心，撕下了虚情“留蔡”的面具，发布大总统令宣布由“胡仁源署北京大学校长”。
此令发出，师生的怒火再次喷发，社会各界的反应也愈加强烈，整个运动呈现出激烈的对抗状态。与此同时，各界劝蔡“回职”的函电也纷纷发到蔡元培手里，许多机构和团体先后派代表到杭州面陈“挽蔡”诚意。
在运动不断升级、“挽蔡”呼声不断高涨的情况下，蔡元培出于激愤于15日撰《不愿再任北京大学校长的宣言》，向各界宣示拒绝复职的理由：“我绝对不能再做那政府任命的校长”，因为那是“半官僚的性质”；“我绝对不能再做不自由的大学校长”，因为“思想自由，是世界各国大学的通例”；“我绝对不能再到北京的学校任校长”，因为“北京是个臭虫窠”。
内容上看，《宣言》无异于一篇檄文，表明了蔡元培对北洋政府决绝的态度，似乎也表明了他不回北大的决心。
这份宣言由于言辞激烈，被其弟蔡元康压下未能发表。
蔡元康随后以自己的名义在《申报》刊出启事，称：家兄患病，遵医嘱屏绝外缘，俾得静养云云。
这样，就为蔡元培争取到了些许相对宁静的“世外”生活的时间。
在这段时间里，蔡元培终于实现了他很长时间以来的宿愿，出版李慈铭《越缦堂日记》。
李慈铭（1830年～1894年），初名模，字式侯，后改今名，字爱伯，号莼客，室名越缦堂，晚年自署“越缦老人”。会稽（今浙江绍兴）西郭霞川村人。
自幼聪颖，勤思好学，博览群书，十二三岁即工诗韵，深受汉学大师、学正吴晴舫器重，有“越中俊才”之称。
一生仕途却极不得意，十一次参加南北乡试，无不落第而归。咸丰九年（1859）北游京城，欲捐资为户部郎中，不料为人欺哄，丧失携资，落魄京师，其母因此变卖田产以遂其志，而家道由此中落。
同治九年（1870），41岁终于中举。光绪六年（1880），51岁始中进士。官至山西道监察御史。“数上封事，不避权要。日记四十余年不断，读书心得无不收录。学识渊博，承乾嘉汉学之余绪，治经学、史学，蔚然可观。长于骈文，被称为‘旧文学的殿军’”。
所著《越缦堂日记》，内容涉及经史、纪事、读书记、诗文等，字数多达数百万字，是一部文史、学术宝库，人评为“可继亭林《日知录》之博，”又谓“生不愿作执金吾，惟愿尽读李公书。”为“晚清四大日记之冠”（另三部为《缘督庐日记》《翁同龢日记》和《湘绮楼日记》）。
所谓《越缦堂日记》，就是李慈铭一生坚持四十余年写下的日记。最为可贵的是其中包括很大一部分读书扎记，文史价值极高。
李慈铭病逝后，蔡元培受其家人的委托，对七十多册李氏日记曾作过初步整理，以备刻印。其后，沈曾植、缪荃孙、刘翰怡等人曾先后筹划过印行该日记，但终未能实现。
1919年初，蔡元培得知李慈铭的藏书将出售，立即与友人商定，“仿曾湘乡日记例”，以影印方式刊出此日记。
他约请张弧、傅增湘、王幼山、王式通四人作为发起人，谋求社会的支持，得到李的故友和文化出版界人士的大力赞助。
蔡元培随后与主持商务印书馆的张元济商定了出版事宜。