1636年哈佛大学前身为哈佛学院。

1636年10月28日，马萨诸塞海湾殖民地议会通过决议，决定筹建一所像英国剑桥大学那样的高等学府,拨款400万英镑。由于创始人中不少人出身于英国剑桥大学，他们就把哈佛大学所在的新镇命名为剑桥。

1638年正式开学，第一届学生共9名。

1638年9月14日，牧师兼伊曼纽尔学院院长的J．哈佛病逝，他把一半积蓄720英镑和400余册图书捐赠给这所学校。

1639年3月13日，马萨诸塞海湾殖民地议会通过决议，把这所学校命名为哈佛学院。在建校的最初一个半世纪中，学校体制主要仿照欧洲大学。

1721年正式设立神学教授职位，1727年设立数学和自然科学教授职位,1780年设立医学教授职位。同年扩建成哈佛大学；1816年成立神学院，1817年成立法学院，以后各学院相继在19世纪成立。教育学院成立于1990年；1936年又成立了政治学院(1966年命名为J．F。肯尼迪政治学院)。

1966年以来，哈佛大学共设10个研究生院，即文理、商业管理、设计、牙科医学、神学、教育、法学、医学、公共卫生和肯尼迪政治学院；2个招收大学本科生的学院，即哈佛学院和拉德克利夫学院；并设继续教育办公室，专门负责暑期学校、附设课程和终身学习中心。牙科医学、医学、公共卫生等3个研究生院设立在波士顿，其余各学院均集中于剑桥。各学院具有相对的独立性，哈佛历任校长坚持3A原则，即学术自由、学术自治和学术中立（这三个原则英文词第一个字母均是A).