一九二七年五月九日，国民党中央执行委.议第九十次会议通过决议，成立中央研究院筹备处。
六月，通过了蔡元培、李煜瀛、褚民谊等人关于成立中华民国大学院为全国最高学术教育行政机关的提议。
七月，国民党政府颁布《中华民国大学院组织法，明确规定大学院为“全国最高学术教育机关，承国民政府之命，管理全国学术及教育行政事宜”。
大学院下设秘书处、教育行政处和中央研究院三个机构。
十月，中华民国大学院成立，蔡元培任院长。根据大学院的组织条例，蔡元培聘请了三十余人组成中央研究院筹备委员会，傅斯年为筹备委员之一。
十一月二十日，中央研究院筹备委员会召开成立大会，通过了《中央研究院组织大纲，确定设立理化研究所、地质研究所、社会科学（即社会学）研究所、观象台四个研究机构，待条件成熟后再陆续增设其他研究机构。
从中央研究院的下属研究机构设置来看，它最初的研究方向偏重于自然科学方面。
傅斯年认为，现代的历史学、语言学与传统的学术有根本的区别，它使用的是科学方法，是与生物学、地质学等自然科学相同的手段，它与自然科学的差别，仅在于学科的分工不同。就是说，历史学、语言学可以建设得如同生物学、地质学一样，成为一门科学。
傅斯年极力向蔡元培陈述这两项研究工作的重要性，建议在中央研究院中设立历史语言研究所。
一九二八年三月，中华民国大学院批准了傅斯年的提议，聘请傅斯年、顾颉刚、杨振声为中央研究院历史语言研究所常务筹备委员。
四月十日，国民党政府公布《修正国立中央研究院组织条例，规定中央研究院“为中华民国最高科学研究机关”，其宗旨为“实行科学研究，并指导、联络、奖励全国研究事业，以谋科学之进步，人类之光明。”
十一月，国民政府公布《国立中央研究院组织法，规定中央研究院与中华民国大学院脱离隶属关系，成为独立的研究机构。
此前，傅斯年已辞去中山大学教职，专门从事筹建历史语言研究所的工作，筹备处办公地点设在广州中山大学校内。
一九二八年九月，傅斯年就任中央研究院历史语言研究所所长。
十月十四日，傅斯年主持召开中央研究院历史语言研究所第一次会议，宣布人员和组织机构。
二十一日召开第二次所务会，决定将该所迁至广州市东山恤孤院后街三十五号柏园。
次日，中央研究院历史语言研究所迁至新址。至此，中央研究院历史语言研究所宣告正式成立。
十一月，傅斯年辞去中山大学语言历史研究所所长职务，该职务由顾颉刚继任。
广州越秀区恤孤院路十二号，是一处名为“柏园”的建筑群落。两栋相对独立的三层小楼由北侧的一组连廊连接起来，构成一个近似“凹”字形的平面。
楼前的小院、院内的榕树，红砖的外墙、雕花的栏杆，与老东山新河浦一带众多的建于二十世纪前半叶的“洋楼”类似，柏园有一种在城央之地闹中取静的独特韵味，给人一种“穿越”的感觉。
就是在这里，中央研究院历史语言研究所，这个中国近现代学术的重要源头之一，今天人们所熟悉的人文学科的学科体系、知识结构和学术框架，开始起步。
众多在近现代学术史上“开宗立派”的人物，在这座小楼里进进出出。于南国的榕荫间，将那些深藏于祖国大地之上的各类文化资源进行整理。基于当时生活之情形，注入新的视角、方法、材料，穿透时空的迷雾，构建起全新的图景。对于中国人文学科来说，其目光之宏远、意义之新颖、内容之丰沛，绝非“初创”二字可以概括。
东山一带，既是史语所学人工作之所，也是当中很多人的家居所在。今天的寻常巷陌，当年曾走过那些英姿卓越的翩翩身影；楼宇间，曾留下他们问学或闲谈的嘈切话语。今天，可否用这些人和事串联起周边的寻常草木，让这处文化地标保存的中国近现代学术史之关键记忆，活化而成城市的文脉。