黄霖同志是四川省新都县人。早年毕业于四川陆军讲武堂,1926年底投奔北伐军,1927年到贺龙同志部队任第二十军特务营第一连连长,同年加入了中国共产党,并参加了“八一”南昌起义。1928年初他返回四川后,积极从事党的地下工作,曾任中共新都鲁迅艺术学院院务处处长、中央管理局副局长等职务。
1945年10月,黄霖同志随干部大队赴东北工作,历任中共长春市东荣区区委书记、桦南工委书记、游击大队政委、桦甸县委书记、省委副秘书长等职。1949年5月,他被派到江西工作,任江西省南昌市委书记和南昌警备司令部政委。1952年12月以后,他任江西省委党校校长兼党委书记、省委常委、江西省副省长、省政协副主席等职。
黄霖同志于1985年10月13日在北京病逝,终年八十一岁。