随后，赵国内部出现夺权事件，赵襄子的儿子赵桓子起事驱逐了赵献侯（赵浣）而自立，一年以后，赵桓子又死了，赵国的大臣们兴事杀了赵桓子之子，重新迎接赵献侯来临朝执政，这长达几年的内乱，削弱了赵国的实力，于是中山武公便趁机鲜虞族顽强抵抗赵、魏两国，又联合齐国，彻底摆脱了赵、魏两国的控制。
数年后，中山武公过世，其子「中山桓公」继位，桓公年幼，不恤国政，因此遭到了魏国的进攻。
当时，乐羊是乃魏国国相「翟璜」座下的门客，因此当魏文侯决定讨伐中山国时，翟璜推荐了乐羊担任攻伐中山国的主帅，与当时仍在魏国的「吴起」一同率领魏军讨伐中山。
【PS：在一些史料上，可能会称这场仗是晋国派兵攻伐中山，那是因为魏、韩、赵三家此时虽然已经瓜分了晋国，但周王室还未承认这三家的诸侯地位，要等到魏灭中山后大概四年后左右，周威烈王才册封魏、韩、赵三家为诸侯，介时，魏、韩、赵三国才被世人所认可。所以在此之前，晋国仍然以名存实亡的形式存在着。】
值得一提的是，乐羊与翟璜当时是有一段恩怨的，据说是乐羊的儿子「乐舒」在战场上杀死了翟璜的儿子「翟靖」。
此事约发生在赵国内乱夺权时期，即赵桓子驱逐赵献侯（赵浣）而自立。
这件事的起因，在于赵鞅见长子「赵伯鲁」资质平庸，不足以担当重任，便将君位传给了小儿子赵无恤，即赵襄子。
而待等赵襄子立嗣时，他觉得父亲将君位传给自己的举措不合“宗法”，便决定将君位还给兄长赵伯鲁一系，于是他并不册立太子，且将兄长的儿子「赵周」封为「代成君」，准备将君位传给后者。
没想到赵周年纪轻轻却死在赵襄子面前，于是赵襄子最终将君位传给了赵周的儿子赵浣，即赵献侯。
然而，此举引起了赵襄子亲生儿子赵嘉的不满，后者驱逐了赵浣，自立为君，即赵桓侯。
赵国的大臣考虑到赵桓侯继位并非是赵襄子的本意，便联合起来杀死了赵桓侯，再次迎赵献侯继位。
而中山国就趁着赵国这场内乱，率兵攻伐赵国，希望借此击败赵国，脱离赵国的控制。
那时赵献侯刚刚恢复君位，见赵国在内乱中元气大伤，难以抵挡中山国，便以割让「智邑（今永济）」为条件，向魏国请求援助。
于是魏国便派吴起率军攻伐中山国。
正是在这场战争中，翟璜的儿子翟靖，被此时担任中山国将领的「乐舒」所杀，且魏军无功而返。
乐羊的儿子乐舒，为何会在中山国担任将领呢？
这件事，就连中山乐氏一族的族长也说不清楚，据乐氏一族内部的猜测，乐舒大概是在魏文侯的女儿公子倾嫁到中山国时，作为沿途护送的一名魏卒前往中山国的，此后因为能力出众而被中山文王看重，成为了中山国的将领。
值得一提的是，同为魏国攻伐中山国的两位名将，乐羊也好，吴起也好，皆是善于统帅军队的将领，但“私德”却同样为人诟病，吴起有“杀妻求将”的污名，而乐羊呢，则也有“乐羊啜羹”的污名。
所谓“乐羊啜羹”，即是在乐羊、吴起二人率魏军攻伐中山国的期间，当时初继位的中山桓公，为了逼迫乐羊退兵，便用其子乐舒作为要挟，没想到乐羊不愿因私废公，于是中山桓公便将乐舒杀死，烹成肉羹赠予乐羊。
没想到，乐羊为了表达他对魏国以及魏文侯的忠心，竟将亲儿子烹成的肉羹喝完，由此传开了“乐羊残忍食子”的恶名。
就连此前颇为欣赏乐羊的魏文侯，也因此与其渐渐疏远。
但即便如此，为了奖赏乐羊的功劳，魏文侯还是册封乐羊为灵寿君，并将灵寿作为乐羊的封邑。
至此，乐氏一族便在中山灵寿安家落户。
待等到二十余年后，成为一次亡国之君的中山桓公在困境中成长，立志复国。
当时乐羊已死，桓公以诚恳的态度得到了乐羊之孙、乐舒之子「乐池」的原谅，拜后者为将相，复辟中山国，联合齐国对抗赵魏两国。
于是，乐氏一族便成为了中山国人。
直到如今，赵国再次覆亡中山国，乐氏一族便又成为了赵国人。