南岳书院文化始于唐肃宗时，邺侯李泌赐隐于南岳烟霞峰下读书论道，居处藏书极为丰富，其后李泌之子李繁为随州剌史时，在南岳建南岳书院(现名邺侯书院)以作纪念，时约816-824年，这是我国历史上最早的书院。南岳书院数量众多，在全国居第一位。清代曾国藩在《重修胡文定公书院记》中写道：“天下之书院，楚为盛，楚之书院，衡为盛，以肃岳故也。”据《湖南通志》统计，清光绪年间，在现南岳区范围内，先后共有邺侯、卢潘、集贤等书院17处。
南岳书院地位崇高，有着很广泛和深厚的影响。宋代胡安国父子在南岳书院讲学，后张受业于胡氏父子，发扬程、胡之学，朱、张之学在此合流，形成有名的“湖湘学派”，推崇爱国主义和“经世致用”哲学，故南岳是“湖湘学派”的发源地。到明代王阳明、邹守益、湛甘泉、蒋信、尹台、王宗沐等又先后在文定书院、甘泉书院讲学，于是宋、明“理学”、“心学”在这里得到较大发展。明末王夫之则集其大成，批判朱、王两种主观和客观唯心主义哲学(理学)，高举朴素唯物主义和爱国主义大旗，影响后世，极其深远，所以清末谭嗣同赞誉其为“万物昭苏天地曙，要凭南岳一声雷”。
南岳书院：南岳书院是南岳出现得最早的一所书院，也是国内建立最早的一批书院之一。书院建于唐代元和到宝庆年间(816-824)，为当时任随州刺史的李繁。建此以纪念其父李泌，既以奉祀，又以藏书，亦供后人浏览、讲学。
宋绍兴3到4年(1134-1135)，胡安国父子来南岳定居，即在南岳书院讲《春秋》之学，绍兴20年(1154)左右，张来南岳，与吴翌、赵师孟、胡大原诸理学家受业于胡宏(安国之子，号五峰先生)之门，相与聚讲于南岳书院。以后过访南岳的一批批宋代理学家，均到南岳书院讲学。讲读之风，盛极一时，湖湘学派实自此发端。
宋宝庆(1225-1227)年间，南岳书院重修，更名为邺侯书院。
文定书院：即文定公祠，今为湖南省岳云中学科技楼所在地。
文定书院的创建时间和创建人均无确切的记载。约为宋代乾道、淳熙间(1165-1189)建筑，是胡宏、胡寅或朱熹、张~从胡安国碧泉书堂旧址改建用以纪念胡文定，并作讲学传世，培育人才的地方。
胡文定(1074-1138)，即胡安国，字康侯，死后谥文定，因故称胡文定。他于绍兴3年或4年迁居衡山(事见本志《人物传》)，绍兴8年逝世。他在南岳读书著述五年，著《春秋传》，筑室号碧泉书堂，进行讲学，宋代理学家韩璜、李椿均在碧泉书堂从学。胡安国三子均为宋代理学家。长子胡寅被尊为致堂先生。次子胡宁，被尊为茅堂先生。季子胡宏，被尊称为五峰先生。明末黄宗羲(1610-1695)著的《宋儒学案》有《五峰学案》、《衡麓学案》，对胡氏父子讲学南岳，上承孔、孟，下启朱、张，作了介绍。张~是胡宏弟子，以后为岳麓书院山长，湖湘学派，自此开端，南岳学风之盛，领袖一时。
胡宏兄弟承侍父亲纂写《春秋传》，曾在碧泉书堂侧建春秋楼，辟春秋塘，现其遗址均在今岳云中学科技楼右侧。
文定书院自宋代建立后，历经7次修复，自明至清累圮累修，尤其清代，几乎平均50年修复一次。明代理学家湛甘泉、王阳明曾在此讲学。
集贤书院：集贤书院前身为宋代南岳书院改建更名的邺侯书院。修于明嘉靖13年(1534)南岳集贤峰下邺侯书院废址上，因集贤峰而得名。办学思想是“为游观者劝”，“见群贤而思齐”(明·曾凤仪：《重修集贤书院记》中语)。
甘泉书院，原名甘泉精舍、甘泉祠，又名衡岳书堂。明嘉靖甲辰(1544)湛甘泉(若水)来南岳文定书院讲学，随后又于附近买地筑宅，号甘泉精舍。因甘泉讲学于此，后称为甘泉书院。湖南武陵人蒋信，与湛甘泉同游南后，和湛甘泉的门人骆君尧、周荣朱、黄去淡等共听甘泉讲学。蒋信作《甘泉精舍记》。
在此以前，王阳明于嘉精初年(1522)游南岳并进行讲学。湛、王本相约同来，却迟至20年后，湛始来南岳(1544)。这一时期南岳书院林立，先后建有10所。比宋代淳熙学风更盛。一批理学大师如尹洞山、邹东廓、蒋信、罗洪先、刘黻、周怡、刘尧诲、王宗沐等人先后都来岳讲学。蒋信就先后来过三次(两次随甘泉，第三次是明隆重庆2年即1568被邀开讲于甘泉精舍)。他们讲的都是心性之学。湛、王两种唯心观理论一时呈现高潮。
甘泉书院旧址座落紫云峰下，现岳云中学紫云楼侧建有甘泉亭，内有甘泉石像及《心性图说》碑石。
邺侯书院：邺侯书院是南岳17所书院中至今尚存的唯一的一所，系清代所建，位于南岳烟霞峰腰。
邺侯书院在南岳原有两处，一在山上，一在山下。山下邺侯书院原建于集贤峰麓，即集贤书院。
山上邺侯书院原址在烟霞峰下，该处原为唐代邺侯李泌隐居的端居室，因地僻山深，后移建于烟霞峰左支地势平坦处的古寿佛寺侧数百步，即今院址，仍称邺侯书院。现邺侯书院为民国21年(1932)重修，是迄今为止，南岳仅存的一所书院建筑。
邺侯书院现为一进五间石室，已无藏书，亦无历史资料可资流览，惟清风明月与半岭烟霞为人作伴。进门石柱上刻有衡山人宾凤阳撰写的一副楹联：“三万轴书卷无存，入室追思名宰相；九千丈云山不改，凭栏细认古烟霞”。情景颇为贴切。1938年，郭沫若到南岳，其《过邺侯书院诗》云：“中原龙战血玄黄，必胜必成待自强。暂把豪情寄山水，权将馀力写肝肠。云横万里长缨展，日照千峰铁骑骧。犹有邺侯遗迹在，寇平重上读书堂。”
