두 번 모두 이겼는데 전체에서는 졌다고?

심프슨의 역설

수학에서는 계산이 정확하면 답도 정확하다. 하지만 계산한 결과를 어떻게 해석하느냐는 또 다른 문제다. 같은 자료를 놓고도 어떤 기준으로 비교하느냐에 따라 전혀 다른 결론에 도달할 수 있다.

심지어 두 번의 비교에서 모두 이겼는데 전체 결과에서는 지는 이상한 일도 벌어진다. 계산이 틀린 것도 아니고 자료가 잘못된 것도 아니다. 어떻게 이런 일이 가능할까?

이러한 현상을 통계학에서는 **심프슨의 역설(Simpson's paradox)**이라고 부른다.

두 번 모두 이겼는데 전체에서는 졌다

두 학생 A와 B가 쉬운 문제와 어려운 문제를 풀었다고 하자. 두 학생이 푼 문제의 개수와 정답률은 다음과 같다.

구분	학생 A	학생 B
쉬운 문제	9/10 (90%)	80/100 (80%)
어려운 문제	30/100 (30%)	2/10 (20%)
전체	39/110 (35.5%)	82/110 (74.5%)

쉬운 문제의 정답률을 비교하면 A가 90%, B가 80%이므로 A가 앞선다.

어려운 문제에서도 A는 30%, B는 20%이므로 역시 A가 앞선다.

그런데 전체 정답률을 계산하면 뜻밖의 결과가 나온다.

학생 A의 전체 정답률은

$$
\frac{9+30}{10+100}\times100\approx35.5%
$$

이고, 학생 B의 전체 정답률은

$$
\frac{80+2}{100+10}\times100\approx74.5%
$$

이다.

쉬운 문제와 어려운 문제에서 모두 A의 정답률이 높았는데 전체 정답률은 오히려 B가 훨씬 높다.

계산을 다시 해 보아도 결과는 달라지지 않는다. 도대체 무엇이 이런 차이를 만들어 낸 것일까?

문제의 개수가 다르다

비밀은 두 학생이 푼 문제의 구성에 있다.

A는 쉬운 문제를 10개, 어려운 문제를 100개 풀었다. 반면 B는 쉬운 문제를 100개, 어려운 문제를 10개 풀었다.

A는 정답률이 낮은 어려운 문제를 많이 풀었고, B는 정답률이 높은 쉬운 문제를 많이 풀었다.

따라서 전체 정답률에서는 어려운 문제를 많이 푼 A가 불리해진다.

여기서 중요한 사실을 하나 발견할 수 있다. 전체 정답률은 쉬운 문제의 정답률과 어려운 문제의 정답률을 단순히 더해 2로 나눈 값이 아니다.

각 종류의 문제를 얼마나 많이 풀었는지까지 고려해야 한다.

이처럼 각 값이 차지하는 비중을 반영하여 구한 평균을 **가중평균(weighted average)**이라고 한다.

가중평균으로 살펴보자

쉬운 문제를 $m$개, 어려운 문제를 $n$개 풀었다고 하자. 각각의 정답률을 $p$, $q$라고 하면 전체 정답률 $R$은 다음과 같다. 여기서 정답률은 0과 1 사이의 수로 나타낸다.

$$
R=\frac{mp+nq}{m+n}
$$

이를 조금 다르게 쓰면

$$
R=\frac{m}{m+n}p+\frac{n}{m+n}q
$$

이다.

즉, 각 정답률에 해당 문제의 비중을 곱한 다음 더한 것이다.

학생 A의 경우에는

$$
R_A=\frac{10}{110}\times0.9+\frac{100}{110}\times0.3
$$

이고, 학생 B의 경우에는

$$
R_B=\frac{100}{110}\times0.8+\frac{10}{110}\times0.2
$$

이다.

A에게는 낮은 정답률인 30%가 전체 결과에 크게 반영되고, B에게는 높은 정답률인 80%가 크게 반영된다.

결국 각 집단에서 A의 정답률이 더 높더라도 집단의 크기가 다르기 때문에 전체에서는 B의 정답률이 더 높아질 수 있는 것이다.

이것이 심프슨의 역설이 나타나는 원리다.

같은 조건에서 비교한다면?

이번에는 두 학생이 쉬운 문제와 어려운 문제를 각각 100개씩 풀었다고 가정해 보자. 난도별 정답률은 앞의 자료와 같다고 하자.

그러면 A의 전체 정답률은

$$
\frac{90+30}{200}\times100=60%
$$

이고, B의 전체 정답률은

$$
\frac{80+20}{200}\times100=50%
$$

이다.

이제는 A의 전체 정답률이 더 높다.

물론 실제로 두 학생이 새로운 문제를 풀었을 때도 같은 정답률을 유지한다는 보장은 없다. 여기서는 문제 구성의 비중을 같게 맞추었을 때 어떤 결과가 나오는지 살펴본 것이다.

이 예시는 통계자료를 비교할 때 비교 대상의 조건을 같게 맞추는 일이 얼마나 중요한지 보여준다.

통계가 거짓말을 한 것일까?

심프슨의 역설은 수학적 모순이 아니다. 부분 집단의 정답률과 전체 정답률은 서로 다른 질문에 답하고 있기 때문이다.

전체 문제 중 얼마나 많이 맞혔는지를 알고 싶다면 전체 정답률을 계산하면 된다. 반면 같은 난도의 문제에서 누가 더 높은 정답률을 보였는지 알고 싶다면 난도별 정답률을 비교해야 한다.

이러한 현상은 시험 성적뿐 아니라 의료 연구, 대학 입학 통계, 스포츠 기록 등에서도 나타날 수 있다. 예를 들어 어떤 치료법이 환자의 상태에 따라 나눈 집단에서는 더 좋은 결과를 보이지만, 전체 환자의 결과를 합치면 반대로 나타날 수도 있다. 다만 실제 치료 효과를 판단하려면 환자의 상태뿐 아니라 다른 조건도 함께 살펴야 한다.

통계자료에서 숫자만큼 중요한 것은 그 숫자가 만들어진 과정과 비교의 기준이다.

우리는 흔히 평균이나 백분율이 제시되면 객관적인 결과라고 생각한다. 물론 계산된 숫자는 정확할 수 있다. 하지만 그 숫자만으로 모든 것을 설명할 수 있는 것은 아니다.

심프슨의 역설이 우리에게 알려주는 교훈은 분명하다.

숫자를 정확하게 계산하는 것과 그 숫자를 올바르게 해석하는 것은 서로 다른 일이다.

수학은 계산하는 방법뿐 아니라 계산한 결과를 의심하고, 그 의미를 따져 보는 방법도 가르쳐 준다.

---

생각해 볼 문제

두 학생 C와 D가 문제를 풀어 다음과 같은 결과를 얻었다.

구분	학생 C	학생 D
쉬운 문제	8/10	70/100
어려운 문제	40/100	3/10

1. 쉬운 문제와 어려운 문제에서 각각 누구의 정답률이 더 높은가?
2. 두 학생의 전체 정답률을 구하여 비교해 보자.
3. 두 학생의 문제 해결 능력을 비교하려면 어떤 점을 추가로 고려해야 할까?

정답 확인: C의 전체 정답률은 약 43.6%, D의 전체 정답률은 약 66.4%이다. 왜 이런 결과가 나왔는지 설명할 수 있다면 심프슨의 역설을 이해한 것이다.