unconstrained optimization method.
marked. 有时间再整理。
梯度下降法
最速下降法(Gradient Descent Method)使用梯度。
牛顿法
使用Hessian matrix
拟牛顿法 （Quasi-Newton Methods）
不再直接计算hessian矩阵, 而是每一步的时候使用梯度向量更新hessian矩阵的近似
共轭方向法
共轭梯度法
直接法
不需要函数导数信息的方法，通过试算来寻找优化方向。它的优势在于对函数没有可微假设。劣势是收敛速度往往很慢。。