若目标函数及约束条件在某一个可行点附近线性化后得出的解点仍然保持在可行域之内，则在这一解点附近重新将目标函数及约束条件进行线性化，得出并求解新的线性规划问题。如此继续下去，当逐次得出的解点都保持在可行域内时，则可望这些解点能逐次逼近原非线性规划问题的极小点，该方法称为逐次线性化法。

当解点超出可行域范围时，增加一个限制步长的约束条件，计算中每次迭代所用的步长可以先取用前次迭代的数值，若解点超出可行域则减少这一数值重新求解该线性规划问题，直到满足收敛要求并得出极值点。步长限值的取值对算法的成功与否有很大影响，由于一般都采用较小的步长，所以又称小步长梯度法。实践证明这种方法在目标函数为凸函数且可行域为凸集的情况下是收敛的，然而其确切的收敛性能尚未得到充分证明。另外这种方法所需要的迭代次数通常比较多，计算工作量也比较大，且花费的时间也比较多。