下马渡镇位于祁阳县境东北边，距县城4公里，境内祁灵公路贯穿东西，是通往祁东、衡阳的快捷咽喉要道。镇政府驻大湖塘居委会。镇沿用下马渡桥名。相传南宋抗金名将岳飞统军至此下马渡祁水河而得名。

镇沿用下马渡桥名。相传南宋抗金名将岳飞统军至此下马渡祁水河而得名，清顺治十七年（1660）僧秀林募建5孔石拱桥，名下马渡桥。1949年，本辖区内为同文乡；1950年设区建乡时，属第十三区共13个乡；1952年调整行政区划时，下马渡为第八区，共26个乡；1958年人民公社化时，建立下马渡人民公社；1961年恢复区建制，设下马渡区；1984年改公社为乡；1985年元月撤销赤塘乡和太白山乡，合併组建为下马渡镇；1995年6月，撤区并乡建镇时，将大桥湾、睦关头、云盘町、下马渡三乡一镇合併为下马渡镇。

镇政府驻大湖塘居委会，辖城月、紫山沖、牛栏头、赵家坳、市门前、水沖、石湾、梅子坪、罗家岭、山川、上赤湾、下赤湾、农科、福星沖、竹子坳、雅园、百级、石塘沖、刘家岭、高子岭、鸟啼沖、清水塘、百步岭、司马源、江西桥、大桥湾、梓里山、元家庙、梁家湾、东溪源、桥头江、中渡甸、石禾塘、团山、藕塘、泉塘、胡家台、栗山、池塘、扬名山、胡家岭、枫林铺、横冲、黄茅沖、书家铺、月塘、谭家湾、祁山、香木沖、汤家岭、官塘湾、大茅坪、继善塘、禧家坪、泥井江55个村和大湖塘、六合堂2个居委会。

境内有氧化铁红厂、页岩砖厂、竹木加工厂。有中学2所，国小19所，医疗机构5个。境内有祁山山脉最高峰太白峰，及有名的熊罴岭、云仙观、大华山等，这里是历代文人墨客旅游圣地，元代的傅若金、明代的徐文衡、清代的陈及祖、万在衡、宗稷辰、伍泽梁等名流游览祁山后，纷纷留下了《登熊罴岭》《游祁山》等不朽诗篇。大华山山顶耸立着祁阳电视转播台，公路盘旋而上，每到春暖花开的季节，满山的映山红，令春游者留连忘返。大华山脚下安葬着大革命时期先烈蒋毓华的忠骨，还有南宋抗金名将岳飞率领的岳家军安营扎寨之处营盘町。熊罴岭上的石留仙寺院、睦关头的黄爷殿、云仙观，晨钟暮鼓，香火袅袅。