梯度法，又名最速下降法。早的求解无约束多元函数极值的数值方法，早在1847年就已由柯西(Cauchy))提出。它是导出其他更为实用、更为有效的优化方法的理论基础。因此，梯度法是无约束优化方法中最基本的方法之一。该方法选取搜索方向Pκ的出发点是：怎样选取Pk可使ƒ(X)下降得最快？或者说使ƒ(Xκ+λΡκ)-ƒ(Χκ)<0且不等式左式的绝对值尽量大。