지친 일상의 비상구- Chage the rule of the game so that other players don’t know how to play the game!

이 설문방법은 대답하기 곤란한 설문을 하는 경우 보다 정확한 답을 얻기 위해서 개발된 방법으로 처음에Warner (1965)에 의해서 개발이 되었다. 아마 이것을 접하는 분은 통계의 위대함을 새삼 깨닫게 되는 즐거움을 얻게 될 것 같다.  이 방법은 가령 다음과 같은 설문을 하고자 할 때 아주 유용하다.

1.      당신은 마약을 해본 적이 있습니까?

2.      당신은 혼전에 유산 경험이 있습니까?

3.      당신은 가게에서 물건을 훔친 적이 있습니까?

4.      당신은 당신 부인 몰래 다른 여자와 6개월 내에 자본 적이 있습니까?

이런 질문을 받는 사람들이 정확한 답변을 하지 않을 것이라는 것은 쉽게 예상할 수 있다.

이 문제를 해결하는데 2가지 방법이 있다.

방법 1 : Warner(1965)

Warner (1965)는 2가지 질문: (1) 나는 마약을 해본적이 있다(Qs) (2) 나는 마약을 해본적인 없다(Qc). 이런 질문지를 앞에 둔다. 그리고 주사위를 던져서 1, 2, 3, 4 가 나오면 (1) 질문에 대답을 하고 5, 6이 나오면 (2)번 질문에 답을 한다. 이때 설문조사자는 응답자가 어떤 질문에 어떻게 대답했는지 알 수 없고 단지, Yes 또는 No 의 전체 횟수와 주사위가 전체 분포가 어떻게 나왔는지만을 기록한다. 즉, (1)과 (2) 번 질문이 전체 몇 번 나왔는지. 즉 개개인이 어떤 질문에 대답했는지 알수 없다. 그렇다면 이때 마약을 해본 경험이 있는 사람의 비율을 어떻게 알 수 있을까?

즉 정리하면 이 설문 방법으로 알 수 있는 것은 다음과 같다. 100번의 시행이 있었다면 우리는 주사위가 4/6 가 나올 확률이 66.6%라는것을 알기 때문에 (1)에 대한 응답이 전체에 66.6번이 나오고 (2)에 대한 답이 33 번이라는 것을 알 수 있다. 아래 표에서는 Yes라고 답한 것이 100중 20이라고 가정하였다.

이런 정보를 기초로 해서 우리는 조건부확률을 활용해서 원래 추정하려고 하는 마약해본 경험이 있는지를 추정한다.

(1) 나는 마약을 해본적이 있다(Qs)에 대해서 ‘예’라고 대답한 확률을 q라고 하면 (2) 나는 마약을 해본적인 없다(Qc)에 대한 질문에 ‘예’라고 대답할 확률은 1-q이다. 그리고 p를 (1) 번 질문에 대답할 확률이라고 하자. 즉, 위의 예에서는 주사위가 1, 2, 3, 4 가 나올 확률 66.6%가 된다.

그렇다면 이때 전체 마약해본 경험이 있어요라고 대답할 확률은 어떻게 될까? 우리가 흔히 고등학교때부터 배운 베이즈 정리로 알려진 조건부 확률을 이용하면 간단히 해결이 된다.

P(yes) = P(yes given question 1 )*P(question 1) + P(yes given question 2)* P(question 2) = p*q+(1-p)*(1-q)

따라서, p=[P(yes) – (1-q)] / [2q-1]

즉 p의 추정치는 X(=sum of xi)가 예라고 대답한 전체 사람수라고 하고 n이 전체 샘플수라고 하면 다음과 같다.

          Estimates p = [ X/n – (1-q) ] / (2q-1)

그렇다면 여기서 q=1, q=1/2, 또는q=0 이라면 어떤 일이 생길까?

q=1 이라는 의미는 질문지가 모두 (1)이라는 의미이고 q=0이라는 의미는 질문지가 모두 2이고 q=1/2라는 것은 50대 50이라는 의미가 된다.

그런데 여기서 추정치 p의 분산을 계산하면 다음과 같다.

Warner 의 설문조사에서

Variance V(estimation for p) = p*(1-p)/n + q*(1-q)/[n*(2q-1)^2]

방법 2 : 관련없는 질문 (Innoccuous Question method)

Warner(1965)는 두 질문이 완전히 서로 Exclusively 한 질문을 던지지만 이것은 두번째 질문을 다음과 같이 전혀 원래 질문의 의도와 관련이 없는 질문을 던진다. 그렇지만 우리가 충분히 확률적으로 예라고 대답할 확률을 알 수 있도록 설계를 한다.
다음과 같은 두 질문지가 있다.

(1) 나는 마약을 해본적이 있다(Qs)

(2) 동전을 던져라. 앞면인가? 예 또는 아니오

따라서

동전의 앞면이 나올 확률이기 때문에 이미 확률값을 알고 있는 r= P(yes given question 2) 이라고 하면 다음과 같은 식을 얻을 수 있다.
여기서 p는 (1)"나는 마약을 해본적이 있다(Qs)"번에 대해서 답변을 할 확률이고 q는 Waner의 설계처럼 (1)질문에 예스라고 대답할 확률이다. 여기서 우리는 실제 이 값은 알 수 없다. 또한 alpha는 (2)번 질문에 대해서 'Yes'라고 대답할 확률이다. 동전을 던졌으니 여기서는 1/2 이 될 것이다.
그렇다면 확률값은 다음과 같이 계산될 수 있다.

P(yes) = P(yes given question 1 )*P(question 1) + P(yes given question 2)* P(question 2) = p*r+(1-p)*alpha

따라서, p=[P(yes) – (1-r)] / [2r-1]

이때 추정치 p의 분산은

Var(estimator for p) = p(1-p)/n + [(1-q)^2 *r*(1-r)+r*(1-p)]/n*q^2 이 된다.

좀 복잡하지만 알고 나면 간단한 문제이다.
아주 똑똑한 설문 디자인이 아닐 수 없다. 이에 대한 자세한 정보는 위키에도 정리가 잘 되어 있다.

여기서 p가 커지면 분산은 적어지고 alpha가 클때 분산이 작아지는 경향이 있다.
그렇지만 이것이 진리는 아니라는 것을 기억하자.

‘스포츠에서 붉은색 유니폼을 입으면 승리할 확률이 높아진다’ 는 말은 사실일까?

아래 전문은 2006년 6월 10일자 동아일보에 게제된 뉴스이다.

러셀 힐 교수는 과학학술지 ‘네이처’ 5월호에 “붉은색 유니폼을 입으면 승리할 확률이 훨씬 높아진다”고 발표해 논란에 쐐기를 박았다.

실력 비슷하면 붉은색 유니폼 승률 60%

연구팀은 2004년 아테네 올림픽 경기 중 권투, 태권도, 레슬링 그레코로만형과 자유형 등 4개 격투기 종목을 분석했다. 경기자들은 파란색과 붉은색 유니폼 중 하나를 입는다. 연구 결과 붉은색 유니폼을 입은 선수의 승률이 55%로 절반을 넘었다. 붉은색의 승률이 가장 높은 종목은 태권도였다. 러셀 박사는 “경기자의 실력이 서로 비슷하면 붉은색 유니폼의 승률은 60%로 올라간다”고 말했다.

연구팀은 유럽축구대회인 유로2004에 참가한 각국 대표팀의 승률도 함께 조사했다. 이들은 두어 가지 다른 색의 유니폼을 번갈아 입는데 붉은색 유니폼을 입었을 때 승률이 높아지는 것은 물론 골도 더 많이 넣었다.
....

그리고 그 이후로도 언론에서는 이 연구를 거듭  언급하면서  붉은 유니폼을 입으면 이길 확률이 높아진다는 것을 기정사실화 하였다.  그렇지만 이 연구는 통계적으로 잘 못된 것으로 드러났는데 그 분석을 해보고자 한다. 아래 표는 Hill and Barton(2005) 에 의해서 수집된 데이타이다. 각각의 문제를 따라 가면서 분석을 해보자.

1.       먼저 귀무가설(null hypothesis) ‘각각의 종목에서 빨간색 유니폼을 입은 팀과 파란색 유니폼을 입은 팀의 승률은 50%로 같다’ vs  대립가설 ‘각각의 종목에서 두팀의 승률은 같지만 50%는 아니다’ 를 테스트해보자.

우도함수(Likelihood ratio)  

여기서 우리는 는 붉은색 유니폼 팀이 이긴 횟수, 는 파란색 유니폼을 이긴 횟수, N은 전체 승리한 횟수,  는  로 추정될 수 있다.

따라서 이때 피어슨 카이 검정 통계량(Pearson's Chi-square statistics)는 다음과 같이 계산된다.

이때 자유도 1인 카이검정통계량의 p_value 는 0.04로이다. 이 결과에 따르면 통계적으로  각각의 종목에서 두팀의 승률은 같지만 50%는 아니라는 것을 알 수 있다. 즉, 이 연국팀이 전체적으로 붉은 유니폼을 입은 팀이 승리할 확률이 55%로 높다고 이야기하는 것은 이 가설을 테스트한 것이라고 할 수 있다.

따러서 이 가설에 의한 검정결과로 붉은색 유니폼을 입은 팀이 스포츠에서 이길 확률이 높다는 것은 논리적으로 맞는 말이 아니다.

이것을 제대로 테스트를 하려면 다음( 2)과 같은 가설을 세워야 한다.

2.      먼저 귀무가설(null hypothesis) ‘각각의 종목에서 빨간색 유니폼을 입은 팀과 파란색 유니폼을 입은 팀의 승률은 50%로 같다’ vs  대립가설 (alternative hypothesis)‘각각의 종목에서 두팀의 승률은 다르고 그 확률이 50%도 아니다’ 를 테스트해보자

자유도 3에서 카이제곱 통계량은 0.3015를 갖고 p value 는 0.9597로 통계적으로 유의하지 않다.

따라서 붉은 색 유니폼을 입은 팀이 승리할 확률이 높다는 것은 사실이 아니라고 할 수 있다. 즉 연구팀은 단순 전체 승률을 비교한 것으로 볼 때 (1) 번의 테스트를 고려한 것이고 셀제로 이렇게 테스트를 해야한다.

이게 바로 통계의 미학이 아닐까 생각한다.

재미있는 이야기라서 정리해서 올려둔다.

상관계수가 통계적으로 유의하다는 말을 그래프를 보고 말할 수 있을까?

베트남 전쟁 당시 미국으로 보낼 군인을 뽑는데 전쟁에 참여하기 싫은 군인들을 보내는 방법으로 공에 1에서 366이라는 숫자를 쓰고 이중에서 처음에 뽑아서 나온 숫자와 일치하는 생일을 갖는 군인이 1순위 차출대상자 2번째 뽑아서 나온 숫자와 일치하는 생일인 군인이 2차 차출대상자로 분류하였다. 그런데 이것은 확률적으로 공정하지 못하다고 군인들을 문제를 제기했는데 아래 그래프는 생일과 넘버와의 관계를 그린 그래프이다. 이것을 보고 여러분은 날짜와 복권의 draft number 가 어떤 경향을 갖는다고 말할 수 있을까?

아마도 대답은 상관관계는 무조건 0 일 것입니다 라고 대답을 할 것입니다.

그렇다면 우리가 잘 알고 있는 피어슨 상관계수( Pearson’s Correlation)을 구하면 얼마나 나올까요? 제가 직접 SAS로 값을 구한 것은 -0.22604를 얻었습니다.

이것이 의심스러워서 미모수 통계학의 순위를 이용한 상관계수 값을 구했더니 엮시  -0.2258 을 얻었습니다.

이 값은 낮은 것일까요? 아니면 높은 것일까요? 데이타  갯수가 366개로 적지 않으므로 SAS로 정규근사 시켜서 가설검정을 했더니  p_value가 0.0001보다 작은 것으로 나와 매우 유의하다는 결론을 얻었습니다.

이게 잘 이해가 안된다고 할 수 있죠?

그래서 퍼뮤테이션테스트 ( 다른 말로는 잭나이브방법)을 활용해서 366개의 순서를 바꿔서 상관계수를 전부 구한다음 이때 위에서 구한 상관계수-0.22604가 분포에서 어디에 위치하는지를 구해보았습니다. 실제로 그래프는 366! 구하는 것이 시간이 많이 걸릴 것 같아 1,000개만 구했습니다. 그리고 이 상관계수-0.22604는 1000개중에서 2번째로 작은값이 더군요. 즉, p_vlaue가 0.001이 됩니다.

이 값은 유의하다고 할 수 있죠?

이렇게 봐도 이해가 잘 안된다고 하실 분이 있을 것 같습니다.

그래서 월별 박스그래프(box plot)을 그려보았습니다.

위의 그래프를 보듯 날짜가 커짐에 따라 중간값이 작아짐을 알 수 있습니다. 즉 음의 상관관계가 있다는 것을 알 수 있죠.

우리가 그래프의 산점도만 보고 상관성을 판단할때 오류가 생길 수 있습니다.

이것은 그런 문제를 보여주는 아주 좋은 예라고 할 수 있습니다.