魏安定人。孝昌元年（525），随柔玄镇人杜洛周起兵造反，不久离杜投奔北魏博陵郡公尔朱荣。3年后，随尔朱荣打败另一个起义者葛荣，又随齐王高欢打败反叛太守羊侃。嗣后，彭乐突然跑到正率军反抗朝廷的原葛荣部将韩楼那里，被封为北平王。在尔朱荣派大都督侯深讨韩时，彭乐归顺侯深。在高欢出兵进攻西魏时，他又投效高欢，随军西征。在韩陵战役中，彭乐身先士卒，大败敌军，封为乐城县公，后又晋升为汨阳郡公，任肆州刺史。

东魏天平四年（537），彭乐随高欢进攻西魏。高欢想打持久战，彭乐主张速决战。高欢听了他的话，很快发起总攻。彭乐乘酒兴攻入敌阵，腹部被刺伤，继续战斗。武定元年（543），北豫州刺史高慎叛变，西魏宇文泰派兵支援，高欢迎战于芒山（今洛阳西北）。当宇文泰军逼近东魏军时，彭乐率几千骑兵从右翼冲出，所到之处，敌兵连连退避，于是东魏军乘势攻入敌营。有人看到这个情况，报告高欢说：“彭乐又反水了”。高欢叹道：“彭乐背弃韩楼投奔尔朱荣，背叛尔朱荣投奔我，今又叛逃西魏。这小子太反复无常。”过了一会，彭乐派人前来报捷，已俘虏西魏临洮王东、蜀郡王荣宗、江夏王升、谯郡王亮、詹事赵善等以下军官48人。东魏其他各军也乘胜追击。共杀死敌兵3万余人。

西魏全面后撤时，高欢令彭乐追击。宇文泰狼狈而逃，在马上对彭乐说：“傻小子，今天没有了我，明天还能有你吗？为啥不回我营中拣金银财宝去！”彭乐照宇文泰的话做了，果然拾得一捆金带。回到自己营里后，彭乐扬言宇文泰的刀口缺了，胆也吓破了。高欢问他为啥没追杀宇文泰，彭乐报告了实情，还说：“我并不是听了宇文泰的话放走他的。”当时，高欢虽然感到胜利的喜悦，但对彭乐放走宇文泰十分震怒，当场就令彭乐跪在跟前，用手按他的头往地上碰。同时，又几次举刀，想往下砍，终于没砍下去。彭乐于是请求给他5000人马，再去追捕宇文泰。高欢却说：“你把人已放走了，为啥现在又说要追呢？”随后叫人拿3000匹绢，送给彭乐。

武定七年（549），彭乐从并州刺史升任司徒。高洋即位后，改任太尉，封陈留王。北齐天保二年（551）因谋反被杀。