在湖南衡州(衡阳)治所北三里石鼓山,故名,旧为寻真观。唐宪宗元和年间,州人李宽于山巅筑屋读书。宋太宗至道三年(997年),州人李士贞援李宽之故事,清郡守在此建立书院招收生徒讲学,宋仁宗景祐二年(1035年)朝廷赐“石鼓书院”敕额。不久改为州学。宋仁宗时曾一度废毁,宋孝宗时因旧址复院,规模益增,至宋末不废。朱熹曾属文记之,为《文献通考·学校》列为“宋兴之初,天下四书院”之一。