黄山海关于1996年11月12日正式开关，是隶属于合肥海关领导的处级海关。

为适应国际航班的开通，1992年国务院同意开放黄山航空口岸（国函[1992]114号），筹建黄山海关(署人[1992]1685号)。1993年5月，合肥海关在黄山设立旅检科。

随着国际航班的增多和黄山市经济的逐步发展， 1995年4月，经海关总署批准，合肥海关以（合关人1995[91]号）正式批准成立黄山海关筹备处。1996年11月12日，根据海关总署（署人[1996]918号）批准，黄山海关正式开关。时任海关总署署长、安徽省委书记、安徽省省长、安徽省人大主任及黄山市委、市政府领导参加开关典礼。同年，时任国务院总理李鹏为黄山海关提写关名。

开关以来，黄山海关以队伍建设为主线、依法行政为核心、促进发展为目的，扎实工作，锐意进取，圆满地完成了总署、总关党组交给的各项工作任务，取得显著成绩：先后荣获省部级表彰6次，市、厅（局）级表彰25次，关员荣获市、厅（局）级表彰近22人次。在省、市文明委组织开展的多次明查暗访和考评中，黄山海关均受到一致赞誉，被誉为“黄山市创建文明行业活动的一面旗帜”，并被授予全市12家“首批创建文明行业先进单位”之一。

黄山海关现有在岗职工19名，女同志6名，党员14名，专科以上文化程度19人。黄山海关目前内设办公室、业务科、旅检科。业务辖区为黄山市及宣城市绩溪县、旌德县。

近年来，黄山海关认真贯彻落实“依法行政、为国把关、服务经济、促进发展”海关工作方针和“政治坚强，业务过硬，值得信赖”12字队伍建设要求，认真履行海关职责，严打走私，依法治税，强化监管，从严治关，各项工作稳步发展。未来的岁月里，黄山海关将在上级海关的领导下，地方政府的支持帮助下，牢固树立科学发展观和正确的政绩观，响应“五年再造一个新黄山”的号召，本着“公正执法，和谐共赢”的理念， 按照“为国把关、服务崛起”的要求，深化改革，求实创新，开拓进取，努力构建和谐海关。