以下是我曾在学习“最优化”理论与实践中遇到的一些概念，我刚开始学的时候，有些东西看了很多遍都还觉得很别扭、晦涩难懂，在比较清楚地理解了之后，我打算把它们写下来，并试图以很通俗、但可能不十分严谨的方式解释、呈现出来，以使一部分正在这些概念中挣扎的人能有所解脱。
optimization
[原创]最小二乘的理论依据
在做数据建模或者曲线拟合的时候，我们通常会用到最小二乘法。
[原创] Powell共轭方向集方法(Powell's Conjugate Direction Method)的实现
实现Powell算法的基础之一：你需要至少先掌握一种一维极值搜索算法。比较流行的是Golden Ratio Search（黄金比例搜索法），Fibonacci Search（斐波纳契搜索法），等等。
[原创] LM(Levenberg-Marquard)算法的实现
LM算法，全称为Levenberg-Marquard算法，它可用于解决非线性最小二乘问题，多用于曲线拟合等场合。
LM算法的实现并不算难，它的关键是用模型函数 
对待估参数向量 
在其邻域内做线性近似，忽略掉二阶以上的导数项，从而转化为线性最小二乘问题，它具有收敛速度快等优点。LM算法属于一种“信赖域法”——所谓的信赖域法，此处稍微解释一下：在最优化算法中，都是要求一个函数的极小值，每一步迭代中，都要求目标函数值是下降的，而信赖域法，顾名思义，就是从初始点开始，先假设一个可以信赖的最大位移 
，然后在以当前点为中心，以 为半径的区域内，通过寻找目标函数的一个近似函数（二次的）的最优点，来求解得到真正的位移。在得到了位移之后，再计算目标函数值，如果其使目标函数值的下降满足了一定条件，那么就说明这个位移是可靠的，则继续按此规则迭代计算下去；如果其不能使目标函数值的下降满足一定的条件，则应减小信赖域的范围，再重新求解。
事实上，你从所有可以找到的资料里看到的LM算法的说明，都可以找到类似于“如果目标函数值增大，则调整某系数再继续求解；如果目标函数值减小，则调整某系数再继续求解”的迭代过程，这种过程与上面所说的信赖域法是非常相似的，所以说LM算法是一种信赖域法。