쌍대성(Duality)-Linear Programming

최적화 분야의 쌍대성(Duality)은 최적화 문제를 primal 문제와 dual 문제로 나누어서 생각하는 방법이다. 이번 포스트에서는 선형 프로그래밍(Linear Programming)에서의 duality에 대해 알아보도록 하자.

참고 1 : Duality (Optimization)
참고 2 : 모두를 위한 컨벡스 최적화, Duality in Linear Programs
참고 3 : CMU-convex optimiazation, Duality in Linear Programs

쌍대성(Duality)

최적화 이론에서 쌍대성(Duality)는 원래의 문제(Primal problem)과 관련된 형태의 다른 문제(Dual Problem)와의 성질이다. 문제에 따라 strong duality, weak duality를 가지며, strong duality의 경우 Primal과 dual 문제의 해가 같다.

이 성질은 여러가지 이유로 사용되는데,

• primal 문제를 직접 풀기 어렵거나 계산 비용이 높은 경우 dual 문제를 푸는 것이 더 쉬울 수 있다.
• strong duality라면 primal과 dual의 최적해의 값이 같다는게 보장 된다.
• 제약 조건 자체의 변화가 최적 해에 미치는 영향을 역으로 분석하는데에 dual problem이 사용될 수 있다.
• 일부 최적화 방법 (e.g. primal-dual interior-point method) 들은 primal 문제와 dual 문제를 동시에 사용하여 수렴 속도를 높인다.

$x\in {\mathbb{R}}^n,f:{\mathbb{R}}^n\to \mathbb{R}$과 등식 제약 조건 $g_i(x)=0,i=1\cdots m$, 부등식 제약 조건 $h_j(x)\le 0,j=1\cdots p$를 가지는 최적화 문제를 생각해보자.

General Optimization Problem

$$\begin{array}{}\text{(1)}& \underset{x}{min}& f(x)\text{(2)}& \text{s.t. }& g_i(x)=0,i=1\cdots m\text{(3)}& & h_j(x)\le 0,j=1\cdots p\end{array}$$

이제 이 문제를 쌍대성을 이용하여 다시 정의하면, 그때의 원래 문제(Primal Problem)와 쌍대 문제(Dual Problem)는 다음과 같이 정의된다 :

Primal Problem $\begin{array}{}\text{(4)}& \underset{x}{min}& \underset{u,v}{max}\mathcal{L}(x,u,v)\end{array}$ Dual Problem $\begin{array}{}\text{(5)}& \underset{u,v}{max}& \underset{x}{min}\mathcal{L}(x,u,v)\end{array}$

$\mathcal{L}(x,u,v)$ : Lagrangian function $\begin{array}{}\text{(6)}& \mathcal{L}(x,u,v)& =f(x)+\sum _{i=1}^m{u}_i{g}_i(x)+\sum _{j=1}^p{v}_j{h}_j(x),\text{(7)}& & u\in {\mathbb{R}}^m,v\in {\mathbb{R}}^p,v_j\ge 0\end{array}$

이게 무슨 말인지 처음에는 도통 이해가 가지 않으니, 간단한 Linear Programming의 예시를 들며 천천히 알아보자.

Lower bound of simple LP

다음과 같은 간단한 예제를 생각해보자

함수 $f:{\mathbb{R}}^2\to \mathbb{R}$와 $x,y\in \mathbb{R}$에 대해서 다음 최소화 문제가 있다 :

$$\begin{array}{rl}\underset{x,y}{min}& f(x,y)=2x+3y\\ \text{s.t.}& x+y\ge 2\\ \text{(8)}& & x\ge 1,y\ge 0\end{array}$$

이때, $\underset{x,y}{min}f(x,y)\ge B$인 lower bound를 찾아보자.

$$\begin{array}{rl}& x+y\ge 2\\ +& x\ge 1\\ +& 2y\ge 0\\ \text{(9)}& \Rightarrow & 2x+3y\ge 3=B\end{array}$$

각각의 부등식 제약(inequality constraint)에 상수배를 곱해서 더해서 원래 함수를 만들어 내면 동시에 lower bound도 찾을 수 있다.

이제 임의의 선형 결합으로 이뤄진 $f(x,y)$에 대해서도 lower bound를 찾을 수 있다.

$$\begin{array}{rl}\underset{x,y}{min}& f(x,y)=px+qy,p,q\in \mathbb{R}\\ \text{s.t.}& x+y\ge 2\\ \text{(10)}& & x\ge 1,y\ge 0\end{array}$$

이때, $\underset{x,y}{min}f(x,y)\ge B$인 lower bound를 찾아보자.
$a,b,c\in \mathbb{R},\ge 0$에 대해서 :

$$\begin{array}{rl}& ax+ay\ge 2a\\ +& bx\ge b\\ +& cy\ge 0\\ \text{(11)}& \Rightarrow & (a+b)x+(a+c)y\ge 2a+b=B\end{array}$$

이를 lower bound $B$에 대한 문제로 바꾸면, 다음과 같다

$$\begin{array}{rl}\underset{a,b,c}{max}& B=2a+b\\ \text{s.t.}& a+b=p\\ & a+c=q\\ \text{(12)}& & a,b,c\ge 0\end{array}$$

위의 예제에서 눈여겨 볼 점은, 원래 문제를 최소화 시키는 것이, lower bound를 최대화 시키는 것과 같다는 점이다. 이때 원래 문제를 Primal Problem, lower bound에 대해 바뀐 문제를 Dual Problem이라고 부른다.

또한, 부등식 제약 조건의 경우, 부등식의 방향을 유지하기 위해 $a,b,c\ge 0$ 조건이 추가로 들어간다는 점도 기억하면 좋다.

Lower bound of General LP

이제 일반적인 Linear Programming 문제에 대해서 lower bound, $B$를 찾아보자.

$c\in {\mathbb{R}}^n,A\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m,G\in {\mathbb{R}}^{p\times n},h\in {\mathbb{R}}^p$일 때,
다음과 같은 최소화 문제가 있다고 하자 :

$$\begin{array}{rl}\underset{x}{min}& c^{T}x\\ \text{s.t.}& Ax=b\\ \text{(13)}& & Gx\le h\end{array}$$

이전과 동일하게 임의의 벡터 $u\in {\mathbb{R}}^m,v\in {\mathbb{R}}^p$를 사용해서 lower bound를 찾으면 다음과 같다 :

$$\begin{array}{rl}& u^T(Ax-b)=0\\ +& v^T(Gx-h)\le 0,v\ge 0\\ =& u^{T}Ax-u^{T}b+v^{T}Gx-v^{T}h\le 0\\ \text{(14)}& \Rightarrow & \underset{c^T}{\underbrace{-(u^{T}A+v^{T}G)}}x\ge \underset{B}{\underbrace{-u^{T}b-v^{T}h}}\end{array}$$

이를 Lower bound 에 대해 다시 정의하면 Dual Problem을 구할 수 있다 :

$$\begin{array}{rl}\underset{u,v}{max}& -u^{T}b-v^{T}h\\ \text{s.t.}& -u^{T}A-v^{T}G=c^T\\ \text{(15)}& & v\ge 0\end{array}$$

Lagrangian Dual Problem

지금까지의 결과를 일반화한 Lagrangian Dual Problem을 유도해보자.

일단 위에서 General LP의 lower bound를 구하는 과정으로부터 다음 관계를 가진 lagrangian을 정의할 수 있다 :

Lagrangian Function of general LP

$$\begin{array}{rl}{c}^{T}x& \ge c^{T}x+\stackrel{\le 0}{\overbrace{u^T\underset{=0}{\underbrace{(Ax-b)}}+\underset{\ge 0}{\underbrace{v^T}}\underset{\le 0}{\underbrace{(Gx-h)}}}}\\ \text{(16)}& & :=\mathcal{L}(x,u,v),\\ \text{(17)}& u& \in {\mathbb{R}}^m,\text{lagrange mulpliers for eq constraints}\text{(18)}& v& \ge 0,\in {\mathbb{R}}^p\text{lagrange mulpliers for ineq constraints}\end{array}$$

이 lagrangian은 $c^{T}x\ge \mathcal{L}(x,u,v)$관계가 항상 성립한다. 이때, $v\ge 0$이어야만 함을 기억하자.

다음으로, 해가 존재하는 영역(feasible region) $D=x:Ax=b,Gx\ge h$과 primal 문제의 최적해, $x^{\ast }$ 에 대해서 원래 primal problem과 lagrangian은 다음의 관계를 가진다 :

$$\begin{array}{}\text{(19)}& f^{\ast }=f(x^{\ast })=\underset{x\in D}{min}f(x)\ge \underset{x\in D}{min}\mathcal{L}(x,u,v)\ge \underset{x}{min}\mathcal{L}(x,u,v):=\theta (u,v)\end{array}$$

$\text{18}$에 의해서 첫번째 부등호가 성립하고, $x\in D$가 아니라면, 당연히 더 작은 값이 나올 수도 있으므로 두번째 부등호도 성립한다.

이때, $\theta (u,v)$를 dual function이라 하며, 원래 문제의 일종의 lower bound, $B$와 같은 역할을 한다.

이 값을 최대화 하도록 정의된 문제를 dual problem, 또는 lagrangian dual problem 이라 한다.

Lagrangian Dual Problem of general LP

$$\begin{array}{rl}\underset{u,v}{max}& \theta (u,v)=\underset{u,v}{max}\underset{x}{min}\mathcal{L}(x,u,v)\\ \text{s.t.}& v\ge 0\\ \text{(20)}& & -u^{T}A-v^{T}G=c^T\end{array}$$

이 방법은 LP 뿐만이 아니라, General Optimization Problem에 대해서도 적용 가능하다.