1892年3月24日，胡刚复出生于江苏省桃源县（现泗阳县），祖父胡和梅是清朝桃源县名教谕，父亲胡壹修和叔叔胡雨人是清末民初兴办新学的教育家，胡刚复幼年时期随兄弟胡敦复、胡明复在家塾读书，由叔叔胡雨人亲自教诲，胡刚复在这个开启民智的教育之家度过了自己快乐的童年。
1897年，胡刚复进入上海南洋公学附小读书，因学业成绩优异而跳班，10岁便进入南洋公学中学。1908年，考入上海震旦公学学习。1909年1月，胡刚复赴京参加了第一届“庚子赔款”留美生考试，并以第13名被录取，10月远渡重洋赴美，进入哈佛大学物理系学习。他出于科学救国、实业救国的抱负，认为物理学不但是严正科学的典范，而且与工程生产实业关系最为密切，因此下决心学习好物理。1913年，大学毕业，获得哈佛大学理学学士学位，并获得奖学金入哈佛研究院，在杜安教授指导下从事镭提纯工作，并在亨廷顿癌症医院从事癌症放射性临床治疗的研究。1914年，获得哈佛大学理学硕士学位后，在杜安教授指导下进行X射线光谱方面的研究，他和杜安教授合作，研究了X射线K线系与化学元素原子序数的关系。1916年，胡刚复在美国就参加创办了中国科学社，并在中国科学社办的《科学》杂志上发表了《大地电象》、《电位定名解》等数篇论文。
1918年，胡刚复获得哈佛大学博士学位后，杜安教授曾希望他能留下继续合作研究，但他毅然离开哈佛大学回国，进入南京高等师范学校任教，他在南京师范学校创建了中国最早的物理实验室。
1926年，胡刚复受聘为厦门大学理学院院长，聘姜立夫（数学）、张子高（化学）、秉志（生物）等主持理学院各系工作，使理学院步入正轨。同年，鲁迅先生亦受聘于文学院，这些知名学者，使厦门大学立时名声大振。1928年，协助丁燮林在上海创办了中国第一个物理研究所——中央研究院物理研究所，并任该所专任研究员。1931年任交通大学教授。1936年任浙江大学教授、文理学院院长、理学院院长。抗日战争爆发后，浙江大学被迫西迁，胡刚复协助竺可桢率领近千名师生和眷属，携带2000多箱图书仪器，辗转浙、赣、湘、粤、桂、黔、闵等七省山水之间，行程2600多公里，先后更换了建德、吉安、泰和、宜山等校址，最终于1940年1月在贵州遵义、湄潭落脚并坚持办学七年。胡刚复是学校迁校委员会的主要领导，每一次迁校，都是由胡刚复先行寻找校址、借房，安排校舍以及图书仪器的运输，这在浙大迁校史上可谓是居功至伟。1948年，胡刚复考察了美国的战后科学研究，特别是核物理、高能物理的进展，同年11月回到杭州。不久，他便和竺可桢一起到达上海，坚决抵制当局要他们撤到台湾的安排，而留在祖国大陆。
1950年，胡刚复辞去了上海大同大学校长和浙江大学的教职，应茅以升之聘去唐山交通大学（现西南交通大学）和北洋大学任教。1952年，院系调整，他被聘为南开大学物理系教授。
1966年，他患严重的肾病，经手术摘除肾结石后肾炎复发，于1966年2月19日逝世于天津市总医院，享年74岁。1987年，“中国物理学会”为了纪念胡刚复开创中国物理学领域的杰出贡献，以他的名字设立了“胡刚复物理奖”，用来奖励在实验物理领域所取得的优秀成果。
