1936年，沙特开国君主阿卜杜勒阿齐兹下令修建这座宫殿，最终在1945年全部建成。阿卜杜勒-阿齐兹国王1938年从麦斯马克宫搬到这里居住、办公，一直到逝世。之后，四方宫就不再使用了。

1999年，为庆祝沙乌地阿拉伯王国建国一百周年，沙特政府在阿卜杜勒阿齐兹国王早期宫殿四方宫周围，修建了阿卜杜勒阿齐兹国王历史中心，占地面积30万平方米，由四方宫、国家博物馆、清真寺等六部分组成，形成了一个庞大的建筑集群。

2016年1月20日当地时间上午11时许，中国国家主席习近平抵达“四方宫”，受到沙乌地阿拉伯国王萨勒曼国王热情迎接。习近平在萨勒曼陪同下参观了“四方宫”。两国元首共同观看了剑舞等沙特民俗表演，兴致勃勃地与在场民众共同起舞。

习近平指出，“四方宫”处处展现出沙特传统建筑独具匠心的艺术魅力和文化传承，让人感受到阿拉伯民族的豪迈。时隔8年再次访问沙特，所见所闻给我留下了深刻印象。沙特既有现代化的设施、发达的交通、舒适的环境，又有历史悠久的宫殿、精緻的陈设、珍贵的文物。沙特的发展得益于沙特人民的勤劳、勇敢、智慧，得益于沙特政府的辛勤努力。