赖盛的母亲池禅尼出生在待贤门院的近臣家，其从兄弟有鸟羽法皇的第一宠臣藤原家成，以及美福门院。因此在所有忠盛妻室中地位最高。赖盛曾与清盛争夺过平家嗣子的地位。但最终忠盛将平清盛确立为继承人，赖盛成为平家一门中地位仅次于清盛的人物。

在保元之乱中，赖盛支持鸟羽上皇。保元之乱后，同兄长平教盛得到了升殿的许可，获赐安艺国、常陆国为自己的知行国。平治之乱中在六波罗的郁芳门同源义朝军作战，败走。但最后源义朝、藤原信赖战败，赖盛同兄长教盛率军逮捕了信赖，因功封尾张守。此后又多次升迁，成为权大纳言。

1183年，由于木曾义仲和源赖朝据守东北反对平家，威胁到了平家的统治，平家首领平宗盛派其前往征讨，但遭到赖盛的拒绝。平家在俱利伽罗峠之战中大败，平宗盛率全体成员逃出京都，前往九州岛。赖盛率部跟随，但到了鸟羽南殿就託故回军，脱离了平家，独自留在了京都，并受到了八条院的庇护。次年前往鎌仓会见源赖朝。由于池禅尼在平治之乱后曾保住了赖朝的性命，因此赖朝同意保住其官位和庄园，成为在坛之浦之战后伊势平氏中唯一倖存的一支。