河南新郑人、明大学士高拱为了解决在京豫人集会团拜之用，在上斜街与北河沿胡同之间购得荒地一方，约二亩余，起建三所平房，定名叫“中州乡祠”。

河南会馆建于清代，建筑形式多为硬山式，驼峰状封火山墙，现保留有戏楼的殿、厢房等。戏楼四柱三间，宽15?62米，进深8.51米，通高7米，抬梁及穿斗构架。楼下是通道，楼上是戏楼。后殿四柱三间，宽15.62米，进深14.5米，高8.5米，四根粗壮，方形石柱上有楹联两副。两厢房各宽5.6米，长7.34米，高7.52米，硬山顶。

1935年改为盐业局仓库，解放后，改用作“中央公粮湖北襄阳区第二库”。抗战前，河南累遭天灾匪患，大部难民流入樊城。大多以出卖劳动力为生。河南会馆冷冷清清，与其他会馆比相形见绌。自抗日战争爆发后，襄河运输中断，市场萧条，大商号或迁或停。而河南籍人多能吃苦耐劳，经河南漯河、界首等地，到沦陷区寻找货源，肩挑车运，经营範围逐步扩大，到樊城开设纸菸栈，继之开设烟厂，如豫襄、复兴、华东、多友等烟厂，其经济实力，日趋壮大。后来的樊城商会会长多由河南人担任。一时间，河南帮人在市场上占主导地位。多数人富了，也迫切希望其子弟上学，对捐资兴学也热心起来。曾由河南帮人办过一所私立中山国小。对其他私立学校，河南帮人也乐于捐助，如富商刘某将其地产九十亩捐赠给私立中国小作校产，赢得了社会的讚誉。在经济上也勇于投资兴办企业。如织布厂，开始只有几部手工木机，惨澹经营，但为后来的襄阳棉织厂奠定了基础。就连现在的襄阳烟厂，也是在河南人的私营小烟厂的基础上发展起来的。

清康熙十年，河南睢州人，工部尚书汤斌在上斜街北部正式建成中州乡祠，同时又在中州乡祠路南招提寺地基修建大厅，名曰“洛社”，聚众讲学(因未形成会馆，所以不属会馆办学)。清鹹丰末年，河南武陟人，户部侍郎毛树棠于洛社东邻购得地基约二亩，修建了一座北至北河沿，南至达石桥，包括中州乡祠及洛社在内的河南会馆，亦叫“蒿云草堂”。同治末年毛树堂之子、兵部尚书毛昶煦与河南项城人、刑部尚书袁保恆(袁甲三之子，袁世凯从叔)筹资在馆内修建了“精忠祠”，供奉宋朝忠臣、民族英雄岳飞，掀起河南会馆祭祀先贤的活动。而后同乡互有捐献，至清光绪时，会馆已有大小厅堂斋舍130余间，成为河南在京会馆中，占地规模最大的会馆。

1895年5月1日，康有为、梁啓超等维新志士，为研究《上皇帝书》，请清政府拒绝承认李鸿章签定的《中日马关条约》的卖国条约，联络18省入京考贡的举子齐集扬椒山祠及附近的河南会馆。康有为宣读了《上皇帝书》得到1300余名举子的拥护，并联名在《上皇帝书》上籤名，拉开了“公车上书”的悲壮序幕。次日，康有为率领举子至都察院第二次抗议并上呈《上皇帝书》，虽被无理拒绝，但却达到了维新志士的宣传目的。康有为曾写诗为记:“海东龙泣舰沉波，上相輶轩出议和，辽台（左目，右无），割山河，抗章优阙公车多，连名三千毂相摩，联轸五里塞巷过。台人号泣举检歌，九城谣谍遍网罗，槓棺摩拳，击鼓三过，栓避不朝，辞位畏何。美使田见惇士气则那!索稿传抄天下墨争磨、呜呼!推秦不成奈若何!”诗中对公车上书的前后历史作出了完整的记述。

而后，河南会馆成为维新派的一个议事处，为戊戌维新运动作出了贡献。清末河南旅京豫人为解决子女就读问题，在嵩云草堂创建河南公立京豫学堂，民国更名京兆私立河南中学，1928年改名北平市私立嵩山中学，解放后为市立第14中，现为北京第204中学址。