David Buss는 Sex differences in human mate preferences: Evolutionary hypotheses tested in 37 cultures(1989)에서 37개 문화권에서 동일한 형태의 남녀 간 성적 취향 차이가 발견된다고 주장했습니다.
그런데 제가 이전에 페이스북 페이지에서 밝힌 것처럼, 이 연구는 t-test의 기본적인 요건도 충족시키지 않은 체로 통계분석을 시행한 치명적인 결점이 있는 연구입니다. 뿐만 아니라 남녀 간의 차이가 통계적으로 유의하다는 것만 확인했을 뿐 그 차이의 정도가 얼마인지는 밝히지 않았다는 점에서 정체를 알 수 없는 연구이기도 합니다.
많은 분들이 너무 옛날 연구만 비판하는 게 아니냐는 말씀을 하셔서 오늘은 David Buss의 공식 홈페이지의 Publication(출판물) 최상단에 있는 따끈따끈한 2017년 연구를 가져왔습니다.
Why Women Wear High Heels?(2017)은 유독 여성들이 하이힐을 신는 이유를 탐구하고 있습니다. 그리고 황당한 제목만큼이나 황당한 내용과 방법론을 담고 있는 연구이기도 합니다.
이 연구의 핵심 내용은 '출산에 최적화된 이상적인 허리각도가 존재하며, 하이힐이 그 이상적인 허리각도를 만들어 주기 때문에 그에 대한 선호가 남녀 모두에서 진화되었다' 라는 것입니다. 얼핏보면 그럴듯해 보이는 이 가설은 그 도발적인 내용만큼이나 대단히 황당무게한 방법론을 담고 있습니다. 그 문제들에 대해 하나씩 살펴보겠습니다.
연구 디자인
이 연구는 두 단계로 이뤄져 있습니다. 다양한 허리각도를 가진 여성의 사진을 인터넷으로 모아 남성들의 선호도를 평가한 첫 번째 단계, 실제 여성 56명을 모집하여 하이힐 착용 전후의 사진을 촬영하여 남성들의 선호도를 평가했습니다.
각 실험의 선호도를 평가한 남성들은 모두 별도의 통계적 절차 없이 온라인으로 모집된 사람들이었습니다.
이 디자인의 첫 번째 문제점은 큰 오차를 수반할 수 있는 방법으로 허리 각도를 측정했다는 점입니다. 사진 상에서 포토샵의 자와 각도기를 이용한 방법의 경우 크게 신뢰하기 어렵다는 것입니다(1). 해당 레퍼런스에는 뼈가 직접적으로 관찰되는 X-선 영상 등을 이용한 방법이 가지는 표준오차가 이 글에서 다루는 하이힐 연구에서 연구 대상이 된 샘플들의 표준편차와 비슷한 수준이라는 걸 확인할 수 있습니다.
뿐만 아니라 평가 남성을 샘플링하는 방법에 대한 충분한 고려 없이 인터넷을 통해 단순히 모집한 결과를 바탕으로 인간 심리기제를 일반화하는 것은 결과의 신뢰도를 크게 하락시킵니다. 표본조사론을 대충이라도 한 번 공부해보면 알 수 있듯이 애초에 Random Sampling도 가정하지 못하는 인터넷 여론조사(?)를 83 밖에 안 되는 인원으로 시행하는 건 대단히 큰 오차를 발생시킬 수 밖에 없습니다.더 정확히 말하면 샘플링 방식이 특정되지 않았으므로 오차 계산 자체가 원칙적으로 불가능한 설계라고 할 수 있습니다. t-test에서의 통계적 유의성이 귀무가설의 문제 뿐만 아니라 t-test의 가정이 깨졌을 때도 발생한다는 점을 고려하면 별이 '두 개'나 있는 결과 역시 아무런 의미가 없다는 것을 알 수 있습니다(2).
결론 및 논의
이처럼 연구에서 생산된 결과부터가 신뢰할 수 없는 마당에 그 결과를 바탕으로 논의와 결론을 이끌어내는 게 무슨 소용인가 싶지만 여기에도 여러 개의 심각한 하자가 있는 관계로 언급을 안 하고 넘어갈 수가 없습니다.
이 연구에서는 이전 선행 연구의 '허리각도의 이론적 최적값' 을 참고하고 있습니다(3). 그럼 먼저 이 이론적 최적값이라는 걸 실증한 방식을 한 번 보시죠.
먼저 1) 직선으로 회귀분석해보고 2) 직선 두 개로 회귀분석해보고 3) 다시 직선 1개로 회귀 분석해봤는데 2) 직선 두 개로 회귀 분석 했을 때 가장 높은 R^2를 얻었기 때문에 2) 직선 두 개로 회귀 분석하는 게 적합하다는 겁니다. 이제 직선을 3개, 4개, 5개 ..... 계속 늘리면 더 높은 R^2을 얻을 수 있겠습니다. 아예 점 갯수 만큼 직선을 도입하면 R^1=1도 얻을 수 있습니다. 이렇게 임의로 직선 갯수를 조정하는 기적의 회귀분석이 어딨습니까? 참으로 놀랍습니다.
그리고 오른쪽에 있는 점들의 분포를 고려했을 때(아래 그림의 빨간색 원 안의 점들) 오른쪽 직선의 기울기가 좀 이상하지 않습니까
자신들이 주장하는 이론적 최적값 45.5도를 맞추기 위해 억지로 눕혀놓은 것 같다는 생각을 지울 수가 없습니다. 물론 저 값의 error(즉, 분산)이 어느 정도인지 표시해놓지 않았기 때문에 검증조차 불가능하지만요.
뿐만 아니라 결론의 말미에서 제가 글의 서두에서 심각한 통계적 하자가 있다고 말씀드렸던 1989년의 연구를 아직도 인용해서 긍정적으로 평가하고 있습니다.
마지막으로 유독 여성이 하이힐을 더 신는 이유를 밝히겠다면서 그에 대한 대조군은 존재하지 않습니다. 아마 남성도 사진 찍어서 세워놓고 허리각도를 측정하면 사람들이 평균적으로 가장 많이 선호하는 허리각도가 존재하지 않을까요? 물론 저도 이번에 소개한 논문들이 저자들처럼 딱히 근거는 없습니다. 그냥 그렇다구요 ^^;;
2017년에도 진화심리학의 삽질은 계속됩니다. 이상.
Reference
(1) https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3233998/
(2) https://www.ncbi.nlm.nih.gov/pubmed/27209009
(3) https://www.sciencedirect.com/science/article/pii/S1090513815000185