根据一些零散的史料记载，清溪庵的最初建立时间可以追溯到700多年前的元末。立庙之初，因曾有一条小河流经寺庙的门前，故称“清溪庵”。这条发源于今天南山一带石缝间的小溪大致的走向现在仍然可以看到，只不过昔日的清溪早已变成了终年流淌着髒水的排污明渠。

根据目前所能找到的线索来看，这组不知在何时已改为玉皇庙的建筑应该是青岛市区範围内建成最早的宗教场所。据至今仍住在附近的居民所述，该庙在明、清及民国初年都进行过修葺，庙内曾经保存有记载这些整修工程的若干碑记。

1990年恢复的每年农曆正月初九的台东萝蔔会，就是当年玉皇庙的庙会。在过去，台东玉皇庙庙会的规模和影响程度均远远大于前海天后宫的新正庙会和四方海云庵庙会。

据记载，上个世纪20年代时期的玉皇庙规模并不大，仅有一间开的山门，三间开的正殿以及左右配殿和厢房，山门外立有两根高大的旗桿，在昔日以平房为主的台东镇，显得格外醒目。

清溪庵最初祀奉的神灵已不可考，清末民初时期，庙内主祀玉皇大帝，另供奉火神和关帝。1931年，青岛市政府在全市展开“扫黄”活动，庙内供奉的玉皇和火神曾被认为是“淫寺偶像”而遭到取缔。1941年5－10月间，由台东镇的工商业者共同出资捐助将庙堂恢复，经扩建共有房屋34间，并重新命名为清溪庵。因庵内供奉送子观音，所以每逢庙会吉日，都会有各地的妇女来此烧香求子。

清溪庵的宗教活动停止，神像同时被捣毁的时间应该是在1952年波及全国的“扫除封建迷信”的运动中。同时被毁的还有一座位于今台东五路祀奉“胡三太爷”（即狐仙）的庙宇。清溪庵的庙址后来成为台东区文化馆，上个世纪90年代台东区撤消，又成为市北区文化馆。

现在，当年的清溪庵已经面目全非。曾经的山门、旗桿和大殿都已不知在何时被拆除，院内仅存的两组平房，从建筑的形式上看，似乎是当年的厢房。这里曾作为文化馆的功能也已不复存在，院内杂草丛生，凌乱不堪，几把扣住厢房木门的锈锁已经落满了灰尘。

作为青岛市区内建成最早的庙宇和昔日台东镇重要的历史遗蹟，清溪庵具有不可替代的人文价值。