杜幼文，杜骥第五子，京兆杜陵人也，薄于行。太宗初，以军功为骁骑将军，封邵阳县男，食邑三百户。寻坐巧佞夺爵。后以发太尉庐江王刘祎谋反事，拜黄门侍郎。出为辅国将军、梁、南秦二州刺史。废帝元徽中，为散骑常侍。

幼文所莅贪横，家累千金，女伎数十人，丝竹昼夜不绝，与沈勃、孙超之居止接近，常相从，又并与阮佃夫厚善。佃夫死，废帝深疾之。帝微行夜出，辄在幼文门墙之间，听其弦管，积久转不能平，于是自率宿卫兵诛幼文、勃、超之等。幼文兄叔文为长水校尉，及诸子侄在京邑方镇者并诛。唯幼文兄季文、弟希文等数人，逃亡得免。