해가 ‘서쪽’에서 뜰 확률 [김범준의 세상물정]

내일도 해가 뜰까? 내일 아침에 해가 동쪽에서 떠오를 확률은 얼마일까? 이 질문에 그 확률이 1이 아니라고 답하는 사람을 만나는 것은 정말 해가 서쪽에서 뜰 일이다. 해가 서쪽에서 뜰 확률이 0이라는 강한 믿음이 우리말의 관용적 표현 “해가 서쪽에서 뜰 일”의 근원이다. 오랫동안 인류는 매일 아침 해가 뜨는 것을 관찰했다. 지금까지 수십만 년 동안 매일 아침 예외 없이 늘 해가 떴다는 것을 측정 데이터로 삼아서 내일 아침에도 마찬가지로 동쪽에서 해가 뜬다는 것을 정말 100%의 확률로 확신할 수 있을까? 매일 아침 종소리가 아침 모이를 뜻한다는 것을 1년 365일 경험한 닭이 내일 아침 종소리도 마찬가지로 아침 식사의 신호라고 확신하는 것은 원칙적으로 불가능하다. 내일 아침 종소리는 자신의 죽음을 뜻할 수도 있기 때문이다. 바로 과학철학에서 말하는 귀납의 문제다. 지금까지의 경험을 아무리 많이 모은다고 해서 이로부터 일반적인 원칙을 확증하는 것은 불가능하다는 문제다.

마찬가지다. 우리 조상이 매일 아침 해가 떠오르는 것을 늘 경험했다고 해서 내일도 해가 뜰 것이라는 것을 100%의 확률로 결정론적으로 확신할 수는 없다. 물론 현대의 과학자는 물리학의 각운동량 보존 법칙으로부터 어느 순간 지구의 자전이 멈추거나 자전 방향이 뒤집히는 것은 불가능하므로 내일도 여전히 해가 동쪽에서 뜰 것이라고 말한다. 하지만, 과연 내일도 여전히 각운동량 보존 법칙이 성립한다는 것 자체를 증명할 수 있을까? 각운동량 보존 법칙은 물리법칙이 모든 방향에 대해 동등하다는 공간의 등방성이라는 대칭성으로부터 증명할 수 있다. 하지만 각운동량 보존 법칙의 타당성을 공간의 등방성으로 환원해도 마찬가지 문제에 봉착한다. 내일도 공간이 등방적이라는 것 자체를 확증할 수는 없다. 지구 자전뿐 아니다. 물리학의 법칙이 내일도 마찬가지로 성립할 것이라는 믿음은 수학적으로 증명할 수 없는 가정이라고 할 수 있다. 미래가 지금까지와 마찬가지일 것이라는 믿음은 철학자 흄이 얘기한 모든 귀납적 추론의 시원적인 전제다. 내일 아침 해가 뜰 확률이 정확히 100%라고 말할 수 있는 엄밀한 근거는 없다.

내일 해가 뜰 확률을 계산하는 것이 가능한 일일까? 이 엉뚱하지만, 심오한 의미를 가진 계산을 시도한 과학자가 바로 라플라스다. 요즘 여러 과학 분야에서 큰 관심을 끌고 있는 베이지의 통계학을 적용해서 라플라스는 내일 아침 해가 뜰 확률을 계산해 냈다. 고등학교 교과서에서 배우는 확률은 베이즈 통계학의 확률이 아니라 빈도주의의 객관적 확률이다. 동전을 던져서 앞면이 나올 확률이 2분의 1이라고 말할 때의 바로 그 확률이다. 앞면이 나올 확률이 2분의 1이라고 해서 10번 던지면 정확히 5번 앞면이 나오는 것은 아니지만, 동전을 던지는 횟수를 점점 무한대로 늘리면 앞면이 나오는 경우는 동전을 던진 횟수의 2분의 1에 점점 가까워진다는 것이 교과서의 통계학이다.

어떤 동전을 던졌더니 5번 연이어 앞면이 나왔다고 하자. 6번째인 다음에도 앞면이 나오면 1만원을, 뒷면이 나오면 돈을 받지 못하는 내기가 있다. 이 내기에 참여하려면 6000원을 내야 한다. 당신이라면 이 내기에 참여할까? 교과서 빈도주의자의 사고방식을 따라가 보자. 앞면이 나오는 선험적 확률은 2분의 1이고, 6번째 동전이 앞면이 나올지 아닐지는 그 전의 5번의 동전 던지기의 결과에 무관하다고 가정한다. 내기에 참여한 나는 2분의 1의 확률로 앞면이 나오면 1만원, 2분의 1의 확률로 뒷면이 나오면 0원을 받고, 따라서 상금의 기댓값은 5000원이다. 내기에 참여하는 비용이 6000원이므로 이 내기에 참여해봤자 평균 1000원의 손실을 보게 된다. 이 내기에 6000원을 내고 참여하는 것은 합리적이지 않다는 결론이다.

다르게 생각할 수도 있다. 5번 연달아 동전이 앞면을 보였다면 앞면이 나올 확률이 2분의 1보다 클 것으로 예상할 수 있고, 따라서 아마도 6번째에도 앞면이 나올 것이라고 추정할 수도 있다. 따라서 6000원을 걸어서 1만원을 높은 확률로 벌 수 있으니 이 내기에 참여하는 것이 낫다는 추론도 가능하다. 베이즈의 통계학에서는 지금까지의 관찰 결과로부터 앞면이 나올 확률 자체를 추정하고자 한다. 우리 인간은 교과서 통계학과 달리 현실에서는 베이즈의 통계학을 직관적으로 이용한다. 연이어 앞면이 나온 동전이라면 아마도 앞면이 나올 확률이 2분의 1보다 더 크다고 추정하고는 위의 동전 던지기 내기에 흔쾌히 6000원을 걸 사람이 많다. 특히, 교과서 통계학을 배우지 않은 독자라면 말이다.

물론 빈도주의 통계학은 이 동전이 평범하고 공정한 동전인지 아닌지를 검정할 수 있다. 공정한 동전이라는 가설(이를 영가설 혹은 귀무가설이라고 한다)을 설정하고 이 가설이 5번 던져 5번 모두 앞면이라는 관찰 사실로 기각되는지를 살필 수 있다. 앞면의 확률이 2분의 1인 공정한 동전이어도 5번 연이어 앞면이 계속 나올 수 있는데, 그 확률을 계산하면 2분의 1을 5번 곱한 값이어서 약 0.03이다. 이 값이 아주 작다고 생각하면 일어나기 어려운 일이 일어났으므로 동전이 이상한 동전일 가능성이 크다는 결론을 얻을 수 있지만, 이 확률값 0.03이 그리 작지 않다고 생각하면 공정한 동전이라는 귀무가설을 기각하지 않는다. 그런데 0.03이라는 확률값이 아주 작은지 아닌지를 판단하는 객관적이고 보편적인 기준은 사실 없다. 빈도주의 통계학은 앞면의 확률이 2분의 1이라고 가정하고 이 가정이 관찰 결과로 기각되는지를 살피고, 베이즈의 통계학은 관찰 결과에 기반해서 앞면이 나올 확률 자체를 추정한다.

내일 아침 해가 뜰 확률의 질문은 위에서 소개한 동전 던지기 내기와 비슷하다. 라플라스는 지금까지 N번 동쪽에서 아침 해가 뜨는 사건이 관찰되었다면 내일 아침에도 마찬가지로 동쪽에서 해가 뜰 확률은 (N+1)/(N+2)로 추정할 수 있다고 말한다. 두 번 더 관찰하고 그중 하루는 동쪽, 하루는 서쪽인 상황을 가정해 계산한 확률로 직관적으로 이해할 수 있다. 좀 어렵지만 엄밀한 수학적 증명도 인터넷에서 쉽게 찾을 수 있다. 이 식을 적용하면 위에서 소개한 동전의 경우 앞면이 나올 확률은 7분의 6이고, 따라서 내기에 참여해서 얻게 되는 상금의 기댓값은 8000원을 훌쩍 넘는다. 베이즈 통계학에 따르면 동전 내기에 참여하는 것이 유리하다. 해가 뜰 확률도 마찬가지로 계산해 보자. 내 경험뿐 아니라 우리 선조 호모 사피엔스의 경험까지 모두 모아서 지금까지 10만년 동안 매일 아침 해가 동쪽에서 떠올랐다면 내일 아침 해도 여전히 동쪽에서 떠오를 확률은 약 0.99999997이다. 1이 아니다. 해가 서쪽에서 떠오를 확률은 0.00000003이다. 0이 아니다.