衡阳铁路局于1936年成立；1951年1月1日分出柳州铁路分局，成立柳州铁路局；1958年衡阳铁路局分出广州铁路局、武汉铁路局，衡阳铁路局机关南迁广州，改设衡阳铁路分局。1986年11月，经湖南省人民代表大会同意，衡阳铁路分局北迁长沙。
1936年9月1日，粤汉铁路建成通车，粤汉铁路局设衡阳市珠晖区苗圃街道办事处。粤汉铁路局局长为留美博士凌鸿勋。
1938年9月27日，湘桂铁路建成通车，湘桂铁路局设衡阳市湘江西岸五桂岭（现湖南高速铁路职业技术学院），侯家源任湘桂铁路局局长，1938年改名为湘桂黔铁路局。
1938年，国民政府成立铁道运输司令部，设衡阳，钱宗泽将军任国民政府铁道运输总司令。
1944年6月，衡阳保卫战爆发，粤汉铁路局和湘桂铁路局用火车疏散衡阳市50万市民逃难。
1946年3月，国民政府交通部对全国铁路实行“分区管理制”，在衡阳成立粤汉区铁路管理局，管辖粤汉、广九、广三线及海南铁路。杜镇远任粤汉区铁路管理局局长，
1949年3月，粤汉区铁路管理局杜镇远局长辞职，袁梦鸿接任局长。
1949年4月，粤汉区铁路管理局袁梦鸿局长另有调用，夏光宇接任局长。
1949年6月4日，粤汉区铁路管理局局长夏光宇辞职，唐宇纵继任局长。
1949年10月8日，新中国成立，铁道部将粤汉铁路局与湘桂铁路局合并为衡阳铁路局，局设粤汉铁路局址苗圃街道办事处保卫里，管辖湖南、湖北、广东、广西、贵州、江西、海南七省铁路。郭维城将军任衡阳铁路局局长。
1949年11月24日，为了加强统一粤汉路南段及湘桂黔衡柳段抢修工程的领导，铁道部决定成立前进指挥所，铁道兵司令员李寿轩兼任司令员，衡阳铁路局局长郭维城兼任副司令员，统一指挥铁道兵二、三支队，华中铁道兵第一、三团及衡阳局各桥梁队。指挥所设在衡阳铁路局。
1949年12月7日，成立衡阳铁路局广州分局。雷铁鸣任广州分局局长。
1951年6月，刘慎之任衡阳铁路局党委书记兼政治部主任。
1952年4月2日，衡阳铁路局成立推行先进工作方法委员会，局长兼任主任委员。
1958年，湖南、广东、广西、湖北等省倡议一省一局，铁道部将衡阳铁路局分为广州铁路局、武汉铁路局和柳州铁路局，改设衡阳铁路分局。
1986年11月，湖南省人民代表大会召开，同意将衡阳铁路分局北迁长沙。
