革命的路总是艰难而又曲折的，蔡元培虽然早已不是热血青年了，但是，一次次的挫折也使得他不免陷入彷徨之中。如同他在“自述”中所说：“在上海所图皆不成，意颇倦。”
19世纪末20世纪初，中国社会经历着“数千年未有之变局”。在此新旧交替的过渡期，一些有识之士开始走出国门、开眼看世界，希冀从西方强国寻求救亡兴国之道。
对蔡元培而言，此前的十数年里，主要是通过中国先觉的知识分子及日本学者翻译的西方思想学说，来了解和认识世界的形势和最新思潮，这些书籍也确实启蒙了他的诸多新思维。
但是百闻不如一见，从书上读到的毕竟是第二手的资料，况且，还夹杂着译著者自己的主观认识甚至于偏见。亲身到西方文化的发源地去看一看，挖掘更多的思想源泉、磨砺改造中国的思想利器，成了蔡元培梦寐以求的事。
20世纪初，中华大地上出国留学或考察蔚然成风，但大多是晚清政府公费官派的留学生，所去国又以日本为主，去欧洲的很少。
蔡元培曾于1902年夏到日本游历，但是他于留日并无兴趣。原因在于，日本虽然是一个善于学习的国家，通过学西方进行了明治维新，使得国力陡然走向强盛，但是日本并不是近代工业、近代思想和社会经济制度的发源地。
蔡元培一心想去追寻欧洲文明的源头，他梦想中的游学目的地是德国。
1903年6月中旬，因爱国学社与中国教育会的同志意见不合，发生了分裂，蔡元培便离开了爱国学社。在一段时间里他曾去青岛学德语，为赴德留学做准备。
次年，蔡元培的女儿出生，蔡元培取名“威廉”，尔后，他又为1906年出生的儿子取名“柏龄”(柏林)。为子女所取的这两个德国式的名字，可见蔡元培对赴德求学的向往和决心。
出国是为救国谋。蔡元培坚定地把留学目标定为德国，是因为在他看来德国是当时欧洲以至世界上哲学、教育学最发达的国家，在那里最能学到对中国有益的新知。
在西方近代教育的发展进程中，德国曾做出过重要贡献。赫尔巴特的《普通教育学》被认为是第一部具有科学体系的教育学著作。福禄贝尔创办的幼儿园影响了世界学前教育的发展。近代西方的教育视导、公立教育、义务教育制度、实科教育、师范教育、双规学制和双元制职业教育等，也大多起源于德国，并对其他国家产生了重要影响。
拿破仑战争后，普鲁士引进了教师需要国家认证的制度(1810年)，这提升了教师的教学水平。1812年，普鲁士开始设置中等学校的升学考试(这在1788年已被发明)；到了1871年，整个德意志帝国都接受了这种制度。此后，德国的学校教育开始变得较系统化和国家化，更多的学校被建立起来。
“救国必以学，世界学术德为尊，吾将求学于德”。在给清廷学部的留德申请呈文中，蔡元培这样写道：“窃职素有志教育之学，以我国现行教育之制，多仿日本。而日本教育界盛行者，为德国海尔伯脱派。且幼稚园创于德人佛罗比尔。而强迫教育(即义务教育)之制，亦以德国行之最先……欧美各国，无能媲者。爰有游学德国之志……至少以五年为期。冀归国以后，或能效壤流之助于教育界。”
蔡元培在给清政府呈文里的这一番话，是他的肺腑之言。
怎么才能去德国留学呢？蔡元培在寻找机会。
朋友们知道蔡元培的想法，1906年的5月间，有北京的朋友来信告诉蔡元培，清政.府拟公派几名翰林院编检出国留学，劝其尽快去京登记。不久，他从报纸上也看到了同样的消息，自然是机不可失。
他于6月下旬先抵上海，去迎接章太炎出狱，并送其去日本。随后参加邹容死难周年纪念日，并了却了为这位先逝的青年志士在墓前修纪念塔的心愿。
这些举动，很像是为他自己在沪上的革命活动，画上一个句号。
1906年7月，蔡元培从故乡绍兴回到阔别多年的京城，第一件事是按例到翰林院销假。此时，他的心情是很复杂的，他在给友人汪康年的信中，表明了自己的心境。