1932年出生于日本群马县。商人家庭出身。一桥大学商学部毕业后，进入通商产业省工作。1983年初次当选众议院议员，至今7次当选。曾任大藏政务次官、经济企画厅长官、自民党干事长代理、冲绳及北方政策担当大臣，属自民党町村派议员。

尾身幸次进入政界时曾得到安倍的父亲——已故的安倍晋太郎的帮助，与安倍家族交情较深。在安倍竞选自民党总裁过程中，尾身给予了全力支持。尾身幸次熟悉科学技术政策和经济税收政策，是日本政界中少有的与冲绳地方联系密切的政治家。