采用梯度法作为基本方法。在启发式步长的基础上，采用简单准则与后退方法、Armijo-Goldstein准则、Wolfe-Powell准则作为确保梯度下降的步长搜索准则。采用自适应梯度、均方根传播、经典动量、自适应矩估计作为历史累计的方向优化方案来处理鞍点。同时包含罚函数法、KKT条件和同伦延拓等内容