父亲是西服店老闆，兄长是日本着名演员渡哲也。1968年毕业于早稻田大学法学部。受其兄影响，次年进入东映公司。

1970年初次主演石井辉男导演的《杀手别传》，以后多在片中担任一些反派角色。1974年主演中岛贞夫导演的《唐狮子警察》等片是其早期的代表作。后又主演多部影片，逐渐成为技巧派影星。

1978年因在野村芳太郎导演的《事件》和《赤穗城起义》二片中的演技获得当年《电影旬报》“蓝绶带奖”，以及第二届学院奖的最佳男配角奖。进入80年代后，其演技更见成熟，戏路也更宽广，已经不再是单纯的技巧派明星。1980年，连续主演《神仙给的孩子》、《影子军团·服部半藏》、《震动的舌头》，因在这三片中的出色演技夺得当年《电影旬报》最佳男主角奖。从此跻身一流影星之列。继而又拍摄了《青春之门》（与松坂庆子合演）、《青春 之门·自立篇》（与桃井熏合演）、《翻越天城》（与田中裕子等合演）、《南极物语》（与高仓健合演）、以及《首都消失》（与丹波哲郎合演）等许多影片，其在片中的扮演各类角色均有好评。1973年与着名影星大原丽子成婚，1978年离异，次年在与大西保结婚。

1979年，凭藉电影《事件》获得第2届日本电影学院奖最佳男配角奖；同时，凭藉电影《没有皇帝的八月》获得第2届日本电影学院奖最佳男主角奖提名。

1981年，主演恐怖电影《震动的舌头》，并凭藉该片获得第4届日本电影学院奖最佳男主角奖提名。

1984年，凭藉电影《时代记的妻子》、《泪桥》获得第7届日本电影学院奖最佳男主角奖提名。

1991年，因参演电影《天与地》、《激动的1750天》获得第14届日本电影学院奖最佳男配角奖提名。

2006年4月，主演朝日电视台系列刑侦剧《警视厅搜查一课9系》，饰演系长加纳伦太郎。该剧以第一季单季平均收视率10%以上的成绩开拍特别篇及续集，之后也以每年一季的速度续拍，截止2017年已播出至第十二季，且每一季播放结束后都保持了两位数以上的平均收视率，成为了老牌日剧系列的代表作品之一。

2008年出演电影《钓鱼迷三平》，在剧中饰演主人公的祖父一平。

2010年出演电视剧《归乡》与渡哲也在剧中同样饰演兄弟。渡哲也饰演的哥哥是医院院长，渡濑恆彦饰演的弟弟时隔21年回乡，故事主要讲述了他们之间的代沟。

2017年，出演由仲间由纪惠主演的电视剧《无人生还》。

2018年，为纪念渡濑恆彦在日本电影业界的贡献，第41届日本电影学院奖为他颁发了会长特别奖。

兄长是同为着名演员的渡哲也。虽然祖籍是岛根县，但实际上出生于兵库县。