《赵氏族谱》载：“明洪武初，我赵氏自枣强迁居青州府黑山后。”明嘉靖年问(1522年)《房氏墓碑》载：“祖本冀州枣强人。明洪武年间有迁发之令，乃始迁诸山东青州府益都县之西颜神镇之东北黑山后乡。”据此，明初(1368年)即已建村。

清康熙九年(1670年)《颜神镇志》、清乾隆十八年(1753年)《博山县誌》均载村名为“黑山后”。清鹹丰年间庙碑载村名为“小黑山后”。因村处黑山之后，故名。后因村民较多，故于清鹹丰年间分为两个村。为了和“大黑山后”区别，遂更名为“小黑山后”。小黑山后是着名革命烈士曲庆来的故乡。