青云亭为首任华人甲必丹郑启基（又名郑芳扬）于1673年创建，取平步青云之意。

青云亭原名观音亭，规模宏大，整座建筑全部用楠木建成，山门上书“南海飞来”四字。殿内以生漆涂饰，黑红闪亮，屋檐上有由碎玻璃及瓷造成的神话及动物雕像，在阳光下闪闪发亮华丽夺目。庙内上漆的木雕更加引人入胜。庙里的主神明有观世音菩萨，左坛是航海者的保佑神天后娘娘。坛上的栏杆描绘了佛祖的生平。庭院里可看到佛教、儒家和道家的教义。这座庙宇的建筑材料都是来自中国。

300多年来，该亭至少经历了6次重修和3次扩建。亭内的各种碑文、匾额、楹联和华人祖先牌位等，是研究马来西亚华人社会的重要历史资料。至今仍有不少僧侣居住其中，是马来西亚最古老的一间华人寺庙。