兩廣總督陳大受之子。乾隆二十年（1755年），以蔭生授戶部員外郎，後遷郎中。乾隆三十四年（1769年）十二月，任廣西巡撫，乾隆三十五年（1770年），請修靈渠；乾隆三十六年（1771年）九月，任湖北巡撫；官至閩浙總督。乾隆四十六年七月，奉命查抄甘肅冒賑案事主王亶望的家產，以四、五萬兩白銀盜換了價值九萬餘兩的黃金，隱藏玉器，將貴重器物多佔為己有。乾隆四十八年（1783年）二月，被賜死。 著有《陳輝祖奏稿》。

其弟陳嚴祖在甘肅冒賑案中被處死。

陳輝祖本受乾隆器重，承辦王亶望貪污案，惜因辦案過程中目睹王貪污巨款甚多，頓起貪念占為己有，乃衍生出案外案，中飽私囊，

被發覺得原因是，王亶望曾經向乾隆進貢過一批玉器，乾隆帝不收，但心中有殘念，於是在清單上尋找這些物品，但未曾發現，於是得知陳輝祖又從中貪汙，乾隆非常傷心陳輝祖的欺君及不自檢點，原判斬監候，後令其在獄中自盡。