胡素斐生于1920年，于1925年不幸夭折。

父亲胡适

胡适（1891.12.17—1962.2.24），汉族，安徽绩溪人。现代着名学者、诗人、历史学家、文学家、哲学家。因提倡文学革命而成为新文化运动的领袖之一。原名嗣穈，学名洪骍，字希疆，后改名胡适，字适之，笔名天风、藏晖等，其中，适与适之之名与字，乃取自当时盛行的达尔文学说“物竞天择，适者生存”典故。

母亲江冬秀

江冬秀（1890—1975），着名学者与文学大师胡适之妻。安徽旌德县江村人，江家是旌德县的望族。江冬秀的外祖父曾位至翰林，其舅母是胡适的姑婆。

哥哥胡祖望

胡祖望（1919-2005），旅居美国。

弟弟胡思杜

胡思杜（1921-1957），留在中国大陆，1954年被迫与胡适断绝父子关係，但仍被斗争，后于1957年反右运动中自杀身亡。