2016년, 미국 대선의 결과는 그야말로 충격 그 자체였다. 이슈메이커인 도널드 트럼프보다 전 대통령인 오바마의 지지를 받고, 정치 경험이 많은 힐러리 클린턴이 이길 것이라고 대다수의 여론조사와 전문 분석가는 말했다. 저자 또한 힐러리가 대권을 거머쥘 것이라고 말했다. 전문가가 많은 데이터를 수집하고 분석했지만 결국 틀린 예측을 했다. 왜 그랬을까? 기존의 통계학을 바탕으로 예측하지만 유동적이고 새로운 정보의 유입되면서 정확함을 끌어내기가 쉽지 않기 때문이다.

저자는 불필요한 정보를 제거하고 정확한 정보만을 파악할 수 있는 해결책으로 ‘베이즈 정리(Bayes's theorem)’를 제시한다. 베이즈 정리는 조건부 확률을 구하는 이론이다. 예를 들어 바깥소리 때문에 잠을 못 잤다고 가정할 때 소리는 원인이 되고 자지 못한 것은 결과가 된다. 그렇다면 반대로 내가 잠들지 못한 것은 바깥소리 때문인가에 대한 궁금증을 확률적으로 계산한 것이 저자가 선보이는 예측 도출 방법이다. 이 해법을 이용하면 누구나 소음에 묻힌 정확한 신호를 발견할 수 있다.

빅데이터 시대에 당신의 예측은 몇 번의 성공과 실패로 이루어졌는가. 정보가 많아 쉽게 예측하지만 정작 오류로 뒤섞여있어 판단하기가 쉽지 않다. 빅데이터가 주는 정보들은 과연 예측하기 위한 신호일까, 오히려 혼란을 주는 소음일까?

- 박남화 인턴기자