볼록 함수와 젠센 부등식

볼록(convex)이란?

먼저 볼록(convex)을 정의해야 한다. 왼쪽은 볼록이고 오른쪽은 볼록하지 않음(non-convex) 또는 오목(concave)이다. 색칠된 영역을 집합으로 본다면 볼록 집합(convex set), 오목 집합으로 부른다. 유클리드 평면에서 볼록 집합의 경계를 볼록 곡선(convex curve), 오목 집합의 경계를 오목 곡선으로 부른다.

$S$를 $\mathbb{R}$ 위의 벡터공간(vector space)이라고 하자.

정의 : $C \subset S$인 집합 $C$가 다음을 만족하면 볼록 집합(convex set)으로 부른다.

$$\forall x , y \in C, \;\; \forall t  \in [0, 1]\;\; : \;\;(1 − t)x + ty \in C $$

예를 들어 유클리드 2차원 벡터공간에서 어떤 부분집합 $C$ 안에 있는 임의의 두 점의 내분점이 모두 $C$ 안에 있다면 볼록 집합이다. 다르게 말하면 왼쪽 그림처럼 어떤 영역 안에 있는 두 점을 잇는 선분 위에 있는 모든 점이 영역 안에 있는 것을 말한다.

볼록은 함수 앞에도 쓰인다. 아래 그림과 같이 어떤 함수의 그래프 윗 부분(연두빛)이 볼록 집합이면 볼록 함수로 부른다. 더 또렷하게 구별하기 위해 아래로 볼록하다고 한다.

정의 : 함수 $f:X \rightarrow R$가 아래를 만족하면 볼록 함수(아래로 볼록 또는 위로 오목)로 부른다.

$$\forall x_1,x_2 \in X , \; \forall t \in [0,1]\;\; :\;\;f\left(tx_1 +(1-t)x_2\right) \leq tf(x_1)+(1-t)f(x_2)$$

그림과 같이 곡선 위의 점은 항상 임의의 두 점 $\left(x_1, f(x_1 )\right),\;\left(x_2, f(x_2 )\right)$를 잇는 직선보다 아래에 있음을 뜻한다. 등호를 빼면 곧게 이어지는 부분이 전혀 없는 곡선인데 이를 엄격한 볼록(strictly convex)으로 부른다.

두 차례 이상 미분가능한 함수라면 2계 도함수의 함숫값으로 쉽게 볼록과 오목(concave)을 확인할 수 있다. 젠센 부등식은 볼록의 정의를 일반화한 것이다. 볼록과 오목을 활용하는 문제는 아래에 있는 젠센 부등식을 활용하면 쉽게 해결될 때가 있다. 

젠센 부등식(Jensen inequality)

함수 $f:(a,b)\rightarrow R$가 연속인 볼록 함수라면 아래와 같은 젠센 부등식을 만족한다.

$$\displaystyle{\forall x_i \in (a,b), \;\; p_i >0 ,\;\; \sum_{i=1}^{n} p_i =1}$$

$$ f\left(\sum_{i=1}^{n}p_i x_i \right)\leq \sum_{i=1}^{n}p_i f(x_i )$$

증명은 수학적 귀납법(mathmatical induction)으로 한다.

$n=1$일 때는 당연하다.

1) $n=2$일 때는 볼록의 정의와 같다.

2) $n=k$일 때 성립하면 $n=k+1$일 때도 성립함을 보이자.

$\displaystyle{p_i> 0,\;\;\sum_{i=1}^{k+1}p_i=1}$이라고 하자.

$$p_1 +p_2 + \cdots +p_k  +p_{k+1}=1$$

$$p_1 +p_2 + \cdots +p_k  =1- p_{k+1}$$

양변을 $1-p_{k+1}$로 나누면

$$\sum_{i=1}^{k}\frac{p_i}{1-p_{k+1}}=1$$

이다. $n=k$일 때 성립하므로

$$ f\left(\sum_{i=1}^{k}\frac{p_i }{1-p_{k+1}}x_i \right)\leq \sum_{i=1}^{k}\frac{p_i }{1-p_{k+1}} f(x_i ) \;\; \cdots\cdots\cdots (i)$$

이다. 이제 $n=k+1$일 때를 생각하자.

$$\begin{split} \sum_{i=1}^{k+1}p_i f(x_i ) &= \sum_{i=1}^{k}p_i f(x_i )+p_{k+1}f(x_{k+1})\\&= (1-p_{k+1})\sum_{i=1}^{k}\frac{p_i }{1-p_{k+1}} f(x_i )+ p_{k+1}f(x_{k+1})\\& \geq (1-p_{k+1})f\left(\sum_{i=1}^{k}\frac{p_i }{1-p_{k+1}}x_i \right) + p_{k+1}f(x_{k+1}) \cdots\cdots\cdots (\because (i)) \\& \geq f\left((1-p_{k+1})\sum_{i=1}^{k}\frac{p_i }{1-p_{k+1}}x_i  + p_{k+1}x_{k+1}\right) \\&=f\left(\sum_{i=1}^{k+1}p_i x_i \right)\end{split}$$

$n=k+1$일 때도 성립한다. 1) 2)에 의하여

$$ \therefore \;\; \forall n\in \mathbb{N},\;\; f\left(\sum_{i=1}^{n}p_i x_i \right)\leq \sum_{i=1}^{n}p_i f(x_i )$$

이다.

확률변수와 함수를 배웠다면 젠센 부등식을 좀 더 쉽게 이해할 수 있다. $\displaystyle{\sum_{i=1}^{n} p_i =1}$이므로 $X=x_i$를 $p(X=x_i)=p_i$인 확률 변수(random variable)로 생각한다면 $\displaystyle{ \sum_{i=1}^{n} p_i x_i }$는 기댓값$E(X)$ 다시말해 평균이다. 그러므로 어떤 확률 함수 $f$가 볼록이면 확률 변수 $X=x_i$의 평균에서 함숫값은 $X=x_i$에서 함숫값의 평균보다 작다고 해석할 수 있다.

$$f(E(X)) \leq E(f(X=x_i))$$
 

따라서, 젠센 부등식은 평균과 관련된 부등식 증명에 쓰기 편하다.

예제 1)) $\displaystyle{\frac{1}{n}( x_1 + x_2 +\cdots+ x_n) \geq \sqrt[n]{x_1 x_2 \cdots x_n}}$임을 증명하여라.

풀이)) $\displaystyle{f(x)=-\ln x}$는 $x>0$에서 볼록이다.

$\displaystyle{p_i >0,\;\;\sum_{i=1}^{n} p_i =1}$이면

$$-\ln (p_1 x_1 +p_2 x_2 +\cdots+p_n x_n)\leq -(p_1 \ln x_1 +p_2 \ln x_2 +\cdots +p_n \ln x_n )$$

$$\ln (p_1 x_1 +p_2 x_2 +\cdots+p_n x_n)\geq p_1 \ln x_1 +p_2 \ln x_2 +\cdots +p_n \ln x_n $$

이제 $\displaystyle{p_i = \frac{1}{n}\;\;(n=1,2,\cdots,n)}$으로 놓으면

$$\ln \left(\frac{1}{n}( x_1 + x_2 +\cdots+ x_n)\right) \geq \frac{1}{n}( \ln x_1 + \ln x_2 +\cdots + \ln x_n )=\frac{1}{n} \ln (x_1 x_2 \cdots x_n)$$

$$\frac{1}{n}( x_1 + x_2 +\cdots+ x_n) \geq (x_1 x_2 \cdots x_n)^{\frac{1}{n}}$$

$$\therefore\;\;\frac{1}{n}( x_1 + x_2 +\cdots+ x_n) \geq \sqrt[n]{x_1 x_2 \cdots x_n}$$

산술평균이 기하평균보다 크거나 같음을 증명하였다.

예제 2)) $\triangle ABC$의 세 각의 크기를 각각 $A,B,C$라고 하면 $\displaystyle{\sin A +\sin B +\sin C \leq \frac{3 \sqrt{3}}{2}}$임을 증명해 보자.

풀이)) $A+B+C=\pi, \;\;\; 0<A,B,C<\pi$이고 $f(x)=-\sin x$는 $[0,\pi]$에서 볼록이므로

$$\displaystyle{-\sin \left( \frac{A+B+C}{3} \right) \leq - \frac{1}{3} (\sin A +\sin B +\sin C )}$$

$$ \frac{\sqrt{3}}{2}= \sin \frac{\pi}{3} \geq \frac{1}{3}(\sin A +\sin B +\sin C )$$

$$\therefore\;\;\;\displaystyle{\sin A +\sin B +\sin C \leq \frac{3 \sqrt{3}}{2}}$$

번거로움을 피하기 위해 오목 함수일 때는 부등호가 바뀐다고 기억해두자.