衡阳的历史文化源远流长，当年吴三桂在衡阳回雁峰前馒头岭举行称帝加冕之礼，封文武百官，开科录士，看中的不仅仅是衡阳的地理位置，南岳衡山佛、道合一的宝气，还有她悠远浓郁的文气。纵观南岳衡山七十二峰，绵延数百里，首峰回雁峰，尾峰岳麓山。向北，长沙有岳麓书院；往南，衡阳有石鼓书院。
　　石鼓书院始建于唐元和五年（公元810年），时衡州名士李宽在石鼓山寻真观旁结庐读书。宋至道三年（公元997年），邑人李士真拓展其院，作为衡州学者讲学之所。景佑二年（公元1035年），朝廷赐额“石鼓书院”，与睢阳、白鹿洞、岳麓书院并称全国四大书院（“四大书院”的提法仍存争议）。经唐、宋、元、明、清各朝，书院屡经扩建修葺，韩愈、周敦颐、朱熹、张栻、范成大、辛弃疾、文天祥、徐霞客、王夫之等接踵至此，或讲学授徒，或赋诗作记，或题壁刻碑，或寻幽揽胜，蔚为壮观。石鼓书院修建于衡阳北石鼓山上，山并不高，但地势险要，为湘水、蒸水交会口,遥对耒河口。书院遗址保护甚好，但因1944年6月毁于日军炮火，遗迹残留不多，从山体的表面很难看出当年楼阁相望、亭台错落的气韵。像悬挂宋仁宗“石鼓书院”匾的大门，纪念朱熹、张栻的二贤祠，王阳明设的讲坛，还有诸葛武侯祠、李芾祠、仰高楼、大观楼、敬业堂、留待轩、浩然台、合江亭、射圃及众多的斋舍，野迹芳踪值得现代人追寻与玩味。石鼓山顶有亭名曰“绿净阁”，亭下有一观景平台可俯视湘江，看河流争舸。山东北角保留有“朱陵洞”，洞口很小，只容一人半个身子进入，传说该洞直通湘江，洞中有洞，别有洞天。1998年，国家邮政局发行“四大书院”四枚邮票，惟独少了石鼓书院，原由是派人来看石鼓书院旧址，发现全不成形，且缺乏重修打理，遂以雎洲的"雎阳书院"（又名"应天书院"）取代之。从2006年开始，在广大市民的慷慨解囊和大力支持下，石鼓书院开始了重建工程，目前已基本完工，2007年10月可开放。
　　 除石鼓书院外，衡阳还有以王夫之命名船山书院。船山书院始建于1885年，迁建于湘江上的东洲岛（距市中心2公里、方圆3平方公里），因而又名东洲古书院，已百年有余。百年前的船山书院是中国最著名的书院之一，她与南岳古书院群，和有天下四大书院之称的石鼓书院一起，同属衡阳三大文脉中重要的一脉。她的人气、人脉、文化底蕴吸引了周边的文人，岳麓、城南、渌江学子纷纷慕名南下，在当时有“学在船山”之称。如今，虽挂牌“市重点文物保护单位”，但是由于孤岛的地理位置,少有人拜谒.另外,洪水的数次冲刷淹没,杂草的疯长,令东洲书院破垣残墙.登岛寻踪，只能留下一声叹息。
        读过《爱莲说》的人都知道“出淤泥而不染”，以此隐喻傲骨傲气之文人，却不知道那是周敦颐在衡阳演武坪外西湖的千古绝唱,如今仅余爱莲亭纪念,少有人知。
        一听演武坪的名字，便可窥视战火硝烟，然而如今的演武坪在当地人眼里只是一个地名，找不到丝毫历史的痕迹。在这块巴掌大小的土地上发生的事，极少有人提起，更不屑说去缅怀，去找寻。1944年，衡阳浴血奋战47天,在全国实属罕见.然而,日军从兵力薄弱的演武坪突入,侵入市中心的军长指挥所,军长方先觉在不做无谓的牺牲的情况下，下令投降.日本人将其关押于已拆除的欧家町教堂(罗家湾小学),后辗转逃到重庆,他的备受争议的痛苦后半生,只是担任一个虚职罢了.
　　在中国近现代史上，衡阳涌现出无数志士，为革命抛头颅，洒热血。像中国同盟会的唯一女性、“一代女魂”唐群英，为新中国戎马一生的罗荣桓元帅，“砍头不要紧，只要主义真”的夏明翰烈士，伴衡山青松长眠的mzd的堂妹毛泽建等。坐落在衡阳的湖南省立第三女子师范学校旧址简称三女师是一所具有光荣革命传统的学校，是湘南学联的主要活动场所。“五四”运动后，mzd曾来此宣传马列主义，发展党团组织，培养了一批革命志士，著名人物有何宝珍、伍若兰、毛泽建、夏明翰、卜仁贞、朱近芝、曾志、彭镜秋等。湘南学联旧址陈列馆位于江东粤汉马路。1919年“五四”运动波及衡阳，在新民学会的影响下，省学联派人来衡阳联络各校学校，发起组织湖南学生联合会。后经衡阳教育界、工商界决议，将“浮桥公所”划归湘南学生联合会使用。当时将霸占公所居住的清提督申堂发赶出公所，挂上了“湘南学生联合会”的牌子。中国共产党成立初期，mzd多次亲临衡阳，住在湘南学联的厅堂里，传播马列主义，开展建党活动，指导湘南革命斗争。在此期间，还有不少著名人士前来此地，开展革命活动，如刘少奇、李达、何叔衡、邓中夏、恽代英、李立三等。在长期的革命斗争中，湘南学联涌现出一大批革命志士，有夏明翰、蒋先云、黄静源、曾中生、陈为人、伍云甫、张际春、何宝珍、关仲廉、毛泽建、江华、黄克诚、唐天际等。