L2 Penalty Method

问题形式

• 等式约束

  • 原问题： \(min_{x}f(x) \)， \(s.t. c_{i}(x)=0,i\in \varepsilon \)
  • 罚函数形式： \(P_{E}(x,\sigma)=f(x)+\frac{1}{2}\sigma\sum_{i\in \varepsilon}c_{i}^{2}(x) \)
  • 上面使用的是二阶罚函数法，求解精度取决于 \(\sigma \)的大小，但无法求得精确解

• 不等式约束

  • 原问题： \(min_{x}f(x) \)， \(s.t.c_{i}(x)\leq 0,i\in I \)
  • 罚函数形式： \(P_{I}(x,\sigma)=f(x)+\frac{1}{2}\sigma\sum_{i\in I}max\left[c_{i}(x),0\right]^{2} \)
  • 上面使用的也是二阶罚函数法，但罚函数的二阶导不连续，无法求得精确解

迭代过程

• 直接法
  • 直接取一个很大的 \(\sigma \)，优化一次得到最优解
• sequential方法
  • 取 \(\sigma=1 \)，优化得到最优解 \(x^{1} \)
  • 取 \(\sigma=10 \)，以 \(x^{1} \)为初值，优化得到最优解 \(x^{2} \)
  • 重复该过程，直到 \(\sigma \)足够大
• 具体用哪种方法取决于对耗时和精度的要求

使用场景

• 约束最好具有具体的物理意义，因为该方法是得不到精确解的，且最终解实际上会一定程度上违反约束
• 对精度要求不是很高，在 \(10^{-3} \)量级左右

L1 Penalty Method

问题形式

• 原问题： \(min_{x}f(x) \)， \(s.t.c_{i}(x)=0,i\in\varepsilon \)， \(c_{j}(x)\leq 0,j\in I \)
• 罚函数形式： \(P(x,\sigma)=f(x)+\sigma\sum_{i\in \varepsilon}\left|c_{i(x)}\right|+\sigma\sum_{j\in I}max\left[c_{j}(x),0\right] \)
• 上面使用的是一阶罚函数法，罚函数的一阶导不连续，当 \(\sigma \)充分大时（不用像L2方法一样取那么大），可以得到精确解
• 虽然可以得到精确解，但由于其non smooth的性质，lbfgs在求解该类型问题时收敛速度是不能保证的