贵子坑为台北地区最古老的地层─五指山层，主由粗粒砂岩构成，内含纯度极高的高岭土及石英砂。约280万年前，台湾北部开始大规模的火山喷发，直至十几万年前才停止。在80万年前，是大屯火山群喷发最剧烈的开端，大量的安山岩岩浆、角砾岩在今天的贵子坑一带堆积，覆盖在褶曲的石英砂岩地表面。数十万年来，贵子坑石壁因受到风化和侵蚀作用，让在地下的特殊地质景观显露。现已作为贵子坑水土保持教学园区。
此地旧名“鬼子坑”或“鬼仔坑”，后因名字不雅，乃取其谐音称为“贵子坑”。对于旧名由来有不同说法，一说过去商人在此区滥采，以溪水掏洗瓷土，破坏地表，溪流凌乱，矿渣处处，因此被当地居民称为“鬼子坑”。另一说法是昔日种植大片桂竹林，称为“桂竹仔坑”，也因竹林发出嘎嘎巨响，谐音为“鬼仔坑”。