书院这个名称最早出现于唐代，当时还只是个收藏、校勘书籍和辨明典章的机构。五代时，朝代兴衰更替频繁，藩镇割据此起彼伏，此时有许多既不愿在乱世为官又不甘孔孟之道失传的学者在佛教禅林影响下，择山林僻静处筑庐设院招徒授业，于是出现了具有学校性质的书院。北宋时，朝廷重视文治，书院得到长足发展，当时由私人和官府办的书院多达三百九十七所，其中较著名的有嵩阳书院、应天书院、岳麓书院和白鹿洞书院，史称“四大书院”。四大书院一说，最早是南宋一个叫吕祖谦的儒者提出来的，原本一家之言， 后为天下学者认可。
元至明初，官学得到提升，一般学子向往官学的优厚待遇、锦绣前程，不愿忍受书院的清苦，书院陷于困顿。明中叶至清初，教育日益空疏，官学变成了科举的附庸，书院讲学就又兴盛起来。据统计，明代共建书院一千九百多所，远远超过了唐、宋、 元三朝的总和，而其中的大多数是在正德，嘉靖年间兴建的。那个时候，以王守仁、湛若水为代表的思想家在书院的振兴上出了大力。只是天启年间，宦官魏忠贤专政，朝纲腐败，其时一批有识之士如顾宪成、高攀龙等利用 书院这方阵地图以救弊，讽议朝政，裁量人物，言论颇为激烈，以至于招致大祸，天下书院皆遭禁毁。
入清后，起初顺治、康熙二帝对书院也没有多少好感，曾诏令 “不许别建书 院”。直到雍正十一年 (1733 年) ，这道禁令才被解除。后经乾、嘉推助，书院得以迅速发展。史书记载：有清一代，全国建有书院四千三百五十所，基本普及城乡。戊成变法时，光绪帝曾诏令改书院为新式学堂；变法失败后，慈禧太后就又下令改学堂为书院。到光绪二十七年 (1901年)，清政府在 "新政"浪潮的冲击下，再次宣布将全国书院改为大、中、小三级学堂。随着西方教育思想影响的不断扩大，科举被废除，所有的书院都被改成了学堂。至此，经历了千余年的书院教育结束了它重要而独特的历史使命。但是，书院已经成了中国古代文化史上很重要的一部分，那些有幸留下来的建筑，或是依据原样修补起来的楼阁，已经成了一部部 “砖石写就的史书”。它们见证着过去，承载着旷世的回忆。
北宋四大书院，河南就占了两处，一处是嵩阳书院，另一处是应天书院。应天书院在豫东的睢阳 (今商丘)；嵩阳书院则位于中岳嵩山腹地的登封，最早是北魏太和年间大德生禅师创建的嵩阳寺，后来到了隋朝，那位自称活了三百岁的潘道士在这里为隋炀帝杨广炼长生不老丹，嵩阳寺由此变成了嵩阳观。唐开元年间，道士孙太冲也跑了过来，为唐玄宗李隆基炼九转金丹。金丹后来炼没炼成不得知，倒是为炼金丹这件事儿而立的一通大唐碑却保存到了现在。不过嵩阳观的道士中确有很多是有远见卓识的人，他们与那些为躲战乱而避世隐居的一些有才华的官员和满腹经纶的学者结合到一起，在李唐皇室的游嵩行宫和炼金丹的地方办起了教育。
嵩阳观改称书院是在后周世宗显德二年 (955年)，当时叫太乙书院。 到了北宋，书院与皇室的联系越来越密切，太宗、 真宗、 仁宗几位皇帝还向书院赐过儒家经典或匾额，先是把太乙书院改为太室书院，后又把太室书院改为嵩阳书院。 除了赐书、 赐学田外，还为书院设置了学官。 这些举措都被看做是朝廷对私立书院的首肯，同时意味着官府逐渐加强了对书院的控制。 书院在北宋时是很有地位的，很多知名学者乃至朝廷重臣，像范仲淹、司马光、吕诲、程颢、程颐、李纲等都到嵩阳书院讲过学。 尤其是 “二程兄弟”在主讲嵩阳书院期间，融儒、释、道三家思想而开创了洛派理学发展的新阶段。程颢 (字伯淳)，人称明道先生；程颐(字正叔) 人称伊川先生。兄弟二人年轻时投师周敦颐门下，后因政治上与王安石不合，便把毕生精力用在了讲学上，门生听他们讲课 “如坐春风”般舒畅，后来各地有了很多 “春风书院”。那时人们对程家兄弟很崇拜，相传学者杨时、游酢有一天下大雪的时候来书院找程颐求学，见程颐闭目养神，二人便侍立于旁。等程颐醒时，屋门外的大雪已经下了一尺多深。程颐感其诚，将二人收入门下。二人从师程颐后勤学不倦，后来与吕大临、谢良佐同为程门四大弟子，成为有名的学者，并在嵩阳书院留下一段“程门立雪”的传世佳话。
嵩阳书院在明末毁于兵燹，“无半椽片壁之存，汉封三柏亦焚其一”。清康熙年间，登封知县叶封和名儒耿介操持着重建嵩阳书院，碑记上说 “三年而成”。后来又有河南巡抚王日藻、阎兴邦与学道林尧英等捐俸银，陆续建起藏书楼、讲堂、书舍、学斋、考场、配房等。新中国成立以后，政府对嵩阳书院多次拨款修葺，基本恢复了清代重建时的布局。从书院大门到最里面的藏书楼，五进院落，大小建筑一百余间，多为硬山滚脊灰筒瓦房，古朴雅致，大方不俗。
院内有两棵三四千年树龄的古柏，名 “将军柏”，相传是汉武帝刘彻赐封的，想必那时古柏已经长有规模，不然怎么会让雄才大略的君王突然来了兴致呢?古柏原有三棵，依序为“大将军”、“二将军”和 “三将军”。北宋时，三棵柏树还都在书院外的野地里长着， 明嘉靖年间登封知县侯泰张罗着向外扩了院墙，把三棵古柏圈到了院内，这一张罗倒为书院增添了许多雅致。后来，“三将军”毁于一场大火，如今剩下 “大将军”和 “二将军”依然枝叶茂盛，生机勃勃，与古老的书院建筑相映成辉。
1985年，胡耀邦来到书院，看见 “二将军”就笑了起来：“汉武帝封它二将军柏，我封它为大 元帅好啦!”2004年夏，江泽民来到书院，搬一把藤椅坐在两棵古柏之间，只见他浅笑盈盈 ：“这里确实是个读书的好地方啊!”
