胡广的祖父胡善（46-113），字南甫，曾任华阴令，死后葬在华容县城以北石山矶（古名石矶山）。胡广的父亲胡宠（73-150），又名胡贡，曾任交趾督尉，死后葬华容县城荷花市场东南部，其葬地与郦道元《水经注》所载“夏水以迳交趾太守胡宠墓北，历范西戎墓南”的地理位置是相符的。

胡广两岁丧母，所谓“少孤贫，亲执家苦“。母亲去世后，胡广的父亲胡宠续娶了原配的妹妹为妻，生了两个弟弟胡康和胡庚。胡广成人以后，曾入郡府为散吏。27岁时，胡广得到南郡太守法雄的举荐，被举为孝廉。到京师参加殿试，安帝亲自主持考试章奏，以胡广为天下第一。胡广进入仕途后，虽多次被罢官免职，或因病辞职，但朝廷总是对他“礼任甚优”，每次都是“未尝满岁，辄复进升。”胡广历任过尚书侍郎、尚书左丞、尚书仆射；累升太中大夫、尚书令、太仆、太常、司空、录尚书事；出为济阴、汝南太守；入拜大司农、大司空，授太尉、进太傅。居朝为官50多年，居公相位30多年，历事安、顺、质、冲、桓、灵6位皇帝。“五作卿士，七蹈相位，三据冢宰”。可谓显赫一时。熹平元年三月初八，胡广在京师洛阳太尉府去世。天子痛悼，亲自安排丧葬事宜，诏五官中郎将持节奉册，赠以太傅安乐乡侯印绶，给官署专制梓楠棺木，赐丝帛含敛之备，赐葬洛阳原陵光武帝墓地，谥号“文恭”，允诺其子孙一人世袭郎中爵位。熹平六年丁巳（177），灵帝思感旧德，命画师绘制胡广和太尉黄琼的画像，悬挂在宫内，诏蔡邕撰颂。蔡邕奉诏撰写的《胡广黄琼颂》，也一同悬挂在宫内，供皇帝和百官瞻省。

胡广所处的时代，是东汉晚期，是汉室江山风雨飘摇、岌岌可危的时期。当时的吏治腐败已经开始动摇皇室政权的基础。胡广为挽救走向衰落的汉室江山，在扬雄、崔骃所作《官箴》的基础上，经过修订、增补，出台了作为朝廷规范各级官员思想行为的《百官箴》48篇，全力帮助皇帝整顿吏治。胡广的一生以奉行中庸之道著称，可谓“性温柔谨素，常逊言恭色”，“体真履规，谦虚温雅”，“柔而不犯，文而有礼，忠贞之性，忧公如家”，“穷宠极贵，功加八荒。”在进入公相之位、担任尚书令起，朝廷给予的俸禄就达2000石，胡广“尊而弥恭，劳思万机，”一直到年迈体衰，在任上去世，没有些许懈怠。

对胡广的评价，东汉末年史学家赵晔在《东观汉记·胡广传》中写道：“达练事体，明解朝章。虽无謇直之风，屡有补裨之益。”南朝宋宣城太守范晔在《后汉书·胡广传》里用两句话作了概括，显得颇为精到。一句话是引京师谚语：“万事不理问伯始，天下中庸有胡公。”另一句话是“汉兴以来，人臣之盛，未尝有也。”这说明，胡广在历史上确实是一个了不起的人物。他不但受到几代皇帝的器重，受到当朝文武百官的尊敬，而且还受到天下百姓的拥戴，真是难能可贵。

胡广是东汉大文学家蔡邕（132-192，字伯喈）的老师。蔡邕为胡广及其家庭成员撰写了碑、表、铭、赞、诰等文章10篇。这些文章是《汉交趾都尉胡君夫人黄氏神诰》、《太傅安乐乡文恭候胡公碑》、《太傅胡公碑铭》、《胡公碑》（一作《祭太傅胡公文》）、《太傅祠前铭》、《太傅安乐乡侯胡公夫人灵表》、《议郎胡公夫人哀赞》（此胡公夫人系胡广三子胡宁妻赵氏）、《陈留太守胡公碑（一）》（陈留太守胡公系胡广四子胡硕）、《陈留太守胡公碑（二）》（一作《胡硕碑》）和《童幼胡根碑铭》（一作《幼童胡根碑铭》）。这些文章均可从《蔡中郎文集》中找到。蔡邕对胡广的评价也是很高的。他写道：“自汉兴以来，鼎臣元辅，耆耋老成，勋被万方，与国始终，未有若公者焉。”

现在，华容县留有胡广遗迹5处。其中在县城有2处：在县城南街，有胡广住过的故居遗址——胡太傅宅；在县公安局大院内，即原县署的后面，有为纪念胡广修建的祠堂——太尉祠（曾名太傅祠）。在县城外有3处：一是伯始书堂。在华容县城以东30多里的靖庐山下，有胡广少年时期和称病告假期间的读书之所“伯始书堂”。南宋乾道年间，时任华容知县的胡绾，曾对伯始书堂进行重修，招收学子，授业其间。弘治明《岳州府志》对此有记载：“伯始书堂，在县东三十里宝慈观右，胡伯始读书处。宋县令胡绾创精舍，招生肄业其中，因指其所为汉太傅胡广读书之所”。明万历《华容县志》亦载“伯始书堂在观右。相传汉胡广读书处。”宝慈观遗址被华一水库之水淹没，伯始书堂遗址仍然存在，静静地躺在华一水库西北的靖庐山下。

二是伯始山。在华容县终南乡北里村，有一座山，叫伯始山。相传胡广在桓帝延熹年间，受牵连罢官，被贬为庶人，还乡后，曾在这临近洞庭湖的小山上，修建了一座别墅，取名为伯始别墅。后别墅不存，人们称这座山为伯始山。到了晋、唐时期，人们为纪念胡广的恩德，在山上建了一座太尉庙，立以太尉神像，供后人焚香拜祭。到了宋、元时期，佛、道并起，有巫祝想以此谋业营生，遂将太尉庙改为北里社。所立神主多为荒诞不经者。一些年以后，北里社也损毁倒塌了。到了明代景泰年间，当地人士高星凡、郑云一、董达三、严左卿等凑资重建北里社，并请时为山东道监察御史的华容贤达董廷圭作记。董廷圭于明景泰五年（1454）撰写了《重修北里社碑记》。董廷圭在碑记中，阐述了伯始山的由来，谴责了巫祝托以窃衣食的行为，提出了要纪念大禹、季札等正义者和胡太尉、张睢阳等有殊勋者。董廷圭说：“若胡太尉者，身事六帝，称天下中庸。夫中庸之德，孔子谓为鲜能，而太尉能之，虽不记，亦宜以血食千秋，与日月共存万古者也。”现在，伯始山庙宇无存，在原址上建有北里学校。