黄香公幼遭苦难，年仅9岁，就痛失慈母。他因爱母极深，为子极孝，母亲死后，哀思过度，以至日渐憔悴，差点支持不到守丧期终，乡人称为至孝。他的孝道，闻名遐迩，当时江夏太守刘护闻名召见，题写“门下孝子”赠之。此后，香公博学经典，精研道术，以文章闻名京师，时人称为“天下无双，江夏黄童”。

香公以儒学入仕，初任郎中，汉章帝诏见黄香，让他入东观（国家图书馆）读尽皇家藏书。后官拜尚书郎，永元四年（92年），升为左丞相，两年后又升为尚书令，经常参与国家政事，数陈得失，深受汉章帝器重，被任以重职，掌管国家机枢。汉皇室对黄香又每多奖赏，黄香任尚书令后，增秩至二千石，赐钱三十万。早在元和元年（84年），皇室为干乘王刘伉在中山宫邸举行弱冠大礼时，汉章帝特邀黄香参加，并对诸王介绍说：“此‘天下无双江夏黄童’者也。”左右莫不刮目相看，肃然起敬。谱载汉章帝又曾以“江夏黄香，忠孝两全，天下无双”的御书赏赐给黄氏家族。经汉章帝、和帝两朝，黄香一直受皇家重用，迄至和帝去世，安帝延光元年(公元122年)香公出任魏郡太守，没多久因郡内水灾免职归乡。数月后，香公卒于故里江夏安陆，享年54岁。