除太阳山、金林山一线至乾河沟为构造侵蚀中山外，多数地区为嘻斯特峰丛洼地及峰丛谷地，形成了溶洞、峰丛谷地、峰丛洼地、盲谷、天窗、地下河、竖井、天坑等地貌形态。溶洞群主要有石膏洞、水帘洞、莲花洞、桂花洞（大风洞）、山王洞、罗教洞、连望洞、杉林洞、罗汉洞等，各洞都有鲜明的特色。公园内还有温泉，以富含硫、铁、锌、氡而着名。