상관계수를 그래프를 보고 알 수 있을까? - 데이타 마이닝

상관계수가 통계적으로 유의하다는 말을 그래프를 보고 말할 수 있을까?

베트남 전쟁 당시 미국으로 보낼 군인을 뽑는데 전쟁에 참여하기 싫은 군인들을 보내는 방법으로 공에 1에서 366이라는 숫자를 쓰고 이중에서 처음에 뽑아서 나온 숫자와 일치하는 생일을 갖는 군인이 1순위 차출대상자 2번째 뽑아서 나온 숫자와 일치하는 생일인 군인이 2차 차출대상자로 분류하였다. 그런데 이것은 확률적으로 공정하지 못하다고 군인들을 문제를 제기했는데 아래 그래프는 생일과 넘버와의 관계를 그린 그래프이다. 이것을 보고 여러분은 날짜와 복권의 draft number 가 어떤 경향을 갖는다고 말할 수 있을까?

아마도 대답은 상관관계는 무조건 0 일 것입니다 라고 대답을 할 것입니다.

그렇다면 우리가 잘 알고 있는 피어슨 상관계수( Pearson’s Correlation)을 구하면 얼마나 나올까요? 제가 직접 SAS로 값을 구한 것은 -0.22604를 얻었습니다.

이것이 의심스러워서 미모수 통계학의 순위를 이용한 상관계수 값을 구했더니 엮시  -0.2258 을 얻었습니다.

이 값은 낮은 것일까요? 아니면 높은 것일까요? 데이타  갯수가 366개로 적지 않으므로 SAS로 정규근사 시켜서 가설검정을 했더니  p_value가 0.0001보다 작은 것으로 나와 매우 유의하다는 결론을 얻었습니다.

이게 잘 이해가 안된다고 할 수 있죠?

그래서 퍼뮤테이션테스트 ( 다른 말로는 잭나이브방법)을 활용해서 366개의 순서를 바꿔서 상관계수를 전부 구한다음 이때 위에서 구한 상관계수-0.22604가 분포에서 어디에 위치하는지를 구해보았습니다. 실제로 그래프는 366! 구하는 것이 시간이 많이 걸릴 것 같아 1,000개만 구했습니다. 그리고 이 상관계수-0.22604는 1000개중에서 2번째로 작은값이 더군요. 즉, p_vlaue가 0.001이 됩니다.

이 값은 유의하다고 할 수 있죠?

이렇게 봐도 이해가 잘 안된다고 하실 분이 있을 것 같습니다.

그래서 월별 박스그래프(box plot)을 그려보았습니다.

위의 그래프를 보듯 날짜가 커짐에 따라 중간값이 작아짐을 알 수 있습니다. 즉 음의 상관관계가 있다는 것을 알 수 있죠.

우리가 그래프의 산점도만 보고 상관성을 판단할때 오류가 생길 수 있습니다.

이것은 그런 문제를 보여주는 아주 좋은 예라고 할 수 있습니다.