黃玉崑粗通文墨，曾為訟師，出入公門。後參加拜上帝會。1848年，馮雲山被捕入桂平監獄，出謀行賄官府，營救馮雲山出獄。後在白沙參加團營。率大湟江一帶會眾赴金田參加起義。他的女兒很美，獻與石達開為妻，成為石達開之岳父。石達開被封為翼王，其女為王妃，黃玉崑被封為「翼貴丈」。

1852年3月在永安（今廣西壯族自治區蒙山縣），封殿左一指揮，8月攻長沙時開始獨領一隊打仗。他屢立戰功，善撫士卒，12月升任殿左一檢點。攻打漢陽捷足先登，安撫百姓。1853年克南京後，6月，升為夏官正丞相，協助楊秀清辦理軍務，兼管刑部。1854年3月封衛國侯

4月，因燕王秦日綱的下人與楊秀清的下人爭執，玉崑身為判官，兩邊都不得罪，採取息事寧人的做法，「可勿杖，轉相勸慰」，但楊秀清不同意該判決，激烈地命令石達開逮捕自己的岳父黃玉昆，「玉崑聞而辭職，燕王秦日綱聞之亦相率辭職。」結果楊秀清「杖日綱一百，玉崑三百，玉崑杖後，夜投水救起」被羅苾芬所救，但被楊秀清貶為普通士卒。石達開奏請楊秀清批准，黃玉崑入翼王府任文書。9月複職，封衛天侯，還是執掌天朝刑部。

1855年10月隨石達開自安慶西進，援救武昌。11月，在湖北崇陽縣、通城縣作戰，進入江西。12月，和胡以晃占領臨江府。1856年1月，攻占袁州府，3月參加石達開領導的攻打吉安之戰。4月，石達開回到天京，命他主持江西軍務，率軍攻克建昌府。1857年11月，黃玉崑在吉安陣亡。