粤海关设立于清康熙二十四年（1685年），关址在五仙门内。
咸丰十年（1860年）粤海关税务司在现关址正式建立公署（外界称“洋关”）。
民国3年（1914年）粤海关大楼工程在现址奠基，民国5年落成。
建筑由英国建筑师戴卫德·迪克仿照欧洲古典建筑形式设计，华昌工程公司承建，1916年5月竣工。
当年大钟每隔15分钟响一次音乐，这样附近的居民听着音乐的节奏与重复次数就能知道当时的时间了。
在那个年代，手表和钟在老百姓中还不是很普及，准点报时的大钟便成了附近居民的‘免费手表’，为居民的生活带来了方便。当然这也给部分市民带来了烦恼，有市民不断反映大钟24小时的报时影响了正常的休息。
上世纪80年代后期，考虑到大钟报时声和钟声会影响周围居民休息，海关应市民要求最终还是停止了钟声和音乐报时。
经历百年风雨的广州海关（广州街坊习惯称之“大钟楼”），即粤海关旧址，变身海关博物馆。据悉，大钟楼海关博物馆是目前中国内地唯一的海关博物馆。