더에듀 | 학문의 세계는 끊임없이 연구 결과를 내놓는다. 평생 배우는 전문직이자 평생학습의 모범이 되어야 할 교육자가 이런 연구를 계속 접하면 좋겠지만, 매일의 업무로 바쁜 일상에서 현실적으로 쉬운 일이 아니다. 이런 독자를 위해 주말 취미가 논문인 객원기자, 주취논객이 격주로 흥미롭고, 재미있고, 때로는 도발적인 시사점이 있는 연구를 주관적 칼럼을 통해 소개한다. |

며칠 동안 여러 언론을 돌면서 건강 관련 뉴스에 오른 기사가 있다.
바로 서울대 안과학교실 김영국 교수팀이 미국의학협회 저널에 발표했다는 ‘디지털 스크린 타임과 근시: 체계적 검토 및 용량-반응 메타분석(Digital Screen Time and Myopia: A Systematic Review and Dose-Response Meta-Analysis)’이라는 제목의 논문으로 나온 연구 결과에 관한 기사다.
이미 전문가인 김영국 교수팀이 잘 요약한 보도자료로 쓴 기사의 내용에 필자가 왈가왈부할 의학적 전문성은 없지만, 학술 기사 또는 연구 결과 보도와 실제 연구 결과의 차이에 대해 생각해 보기 좋은 사례라 함께 볼 논문으로 골랐다.
‘사실의 전모’를 전하는 학술 기사는 없다
우리나라 신문윤리강령과 실천요강은 ‘사실의 전모’ 또는 ‘사안의 전모’를 전한다고 말하고 있지만, 사실 이렇게 하는 언론은 없다고 해도 과언이 아니다. 특히 일간지나 인터넷 신문이라면 더더욱 그렇다.
기자가 특별히 윤리적으로 못돼먹은 집단이라서 그런 게 아니다. 기사에는 다른 요건들도 있기 때문이다. 특히 시의성, 간결성, 평이성 등 기사를 빠르고 짧게 쓰도록 요구하는 현실적인 요건들은 모든 사실을 다 전하는 것을 정면으로 가로막는 벽이 된다.
시의성 때문에 시간이 없고, 간결성 때문에 보도자료 이상의 내용을 담기 어렵고, 평이성 때문에 전문적인 학술 용어를 풀어쓸 수밖에 없고 풀어쓰자니 다시 간결성을 해치게 되기 때문에 결국 어떤 연구 결과에 관한 상당수의 기사는 보도자료나 요약만 보고 쓰게 된다.
그나마 논문을 살피더라도 초록으로 개괄을 파악하고, 결론 위주로 읽고 나머지는 빠르게 넘어가면서 특이점이 있는지 보는 정도가 될 텐데, 이걸로는 사실의 전모, 즉 연구의 내용을 다 전할 수 없다.
그렇다고 기자 개인의 윤리를 탓할 생각은 없다. 현실과 괴리된 윤리헌장이 위선적일 뿐이다. 사실의 전모가 아니라 아마도 한 쪽에만 편향된 기사나 내용을 빼고 왜곡하는 기사를 쓰지 않겠다는 정도를 과장되게 표현한 것이 아닐까 싶다.
의학 논문을 읽자더니 갑자기 왜 언론 윤리 타령인가 싶겠지만, 오늘의 논문이 지금처럼 보도된 근본 원인이 여기에 있(다고 믿고 싶)기 때문에 짚고 넘어가고 싶었다.
줄이다 보면 오해는 생기기 마련이다
이제 다시 본론으로 돌아와서, 연구에 대한 기사는 대체로 ‘스크린 타임 1시간 늘면 근시 위험 21% 증가’ 또는 ‘4시간 스크린 타임, 근시 위험 두 배’ 등 두 가지로 줄일 수 있는 제목을 달고 있다.
이는 전문가인 보도자료를 낸 측이나 논문의 연구 결과 부분에 명시된 내용과 일치한다. 좀 더 정확히는 오즈비(odds ratio)가 1.21, 95% 신뢰 구간에서 1.13~1.30 사이라고 돼 있다.
오즈비는 독립변수, 주로 이런 경우는 용량(스크린 타임)이 바뀔 때 사건이 발생할 확률이 달라지는 정도를 비교한 것으로 오즈비가 1이면 용량이 사건의 발생 확률에 영향을 끼치지 않는다는 뜻이다. 그러니 대충 같은 얘기라고 말해도 큰 문제는 없다.
4시간에 두 배 이야기도 4시간 노출에 오즈비가 1.97, 95% 신뢰구간에서 1.56~2.40 사이라고 돼 있으니 같은 얘기라고 볼 수 있다.
다만 여기서 주의해야 할 것은 한 시간이 늘어날 때 기존 가능성에 비해 21% 증가한다는 것이지 근시가 될 가능성 자체가 매시간 21% 증가한다는 뜻은 아니라는 점이다.
예를 들어, 스크린 타임 없을 때 근시 가능성이 10%면, 스크린 타임을 한 시간 한다고 했을 때 12.1%가 된다는 얘기다. 굉장히 다른 얘기고 사실 당연한 얘기지만, 사실 주의 깊게 읽지 않으면 오해할 수도 있는 법이다.
또한, ‘1시간에 21%’와 ‘4시간에 두 배’의 분석 대상이 다른데 전자는 45개 연구 33만 5524명을 대상으로 했고, 후자는 그 전체가 아닌 34개 연구와 31만 4910명을 대상으로 한 ‘비선형’ 용량-반응 메타 분석에 한정했다. 기사에 그런 설명은 없으니 같은 대상이라고 오해할 수도 있다.
물론 이 대상이 다른 데는 이유가 있어 이상한 일은 아니다. 보통 비선형 분석을 하기 위해서는 그에 맞는 데이터가 있어야 하는데 나머지 11개 연구는 그런 데이터가 부족했기에 선형 검사인 전자에만 이용된 것이다.
이왕 메타 분석에서 제외되는 연구를 이야기하자면, 사실 연구진이 최초에 찾은 관련 논문 중 제외된 것이 포함된 것보다 많다. 100건이 넘는다. 물론 이 역시 통상적인 일로 문제는 없다. 부록에 각각 연구의 제외 사유를 밝히고 있다.
이렇게 대상을 고르는 일은 메타 분석에서 흔한 일이다. 학문적 요건이 부족해서, 혹은 하려는 분석에 적합한 정보가 없어서가 일반적인 이유다. 이번에도 디지털 스크린과 관련된 위험 요인 분석을 따로 하지 않았거나 기타 등등 선택 기준도 본문에 명시돼 있다.
그런데 이런 과정에서 선정 기준에 따라 결과가 달라지기도 한다. 물론 필자의 전문 분야고 아주 관심이 많은 사안이 아니라면 제외 요인 하나하나를 검토할 수는 없다. 동료 평가가 이뤄지는 학회지에서 받아들여졌으니 문외한은 믿고 가는 수밖에 없다.
그걸 감안하고 여기까지 보면 전문적인 내용을 너무 단순화해 빠지는 설명은 생기더라도 전체 이해에 큰 탈은 없는 수준이다.
근시 위험이 이렇게 높으면 디지털 학습 괜찮나?
그런데 이 보도 내용이 사실에서 크게 벗어나지 않는다면 교사는 의문이 들 수밖에 없다.
디지털리터러시도 가르쳐야 하고, 학교에는 각종 기기가 들어와 있고, 학생들은 안 그래도 TV며 스마트폰을 보는 데다 디지털 교과서까지 쓴다는데, 근시 위험이 커지면 괜찮은 건가?
이 기사 또는 논문의 요약을 그대로만 받아들이면 고민해야 할 큰 문제다. 그런데 그럴 필요는 없다.
보통 이런 연구의 분석 결과에 대해 논문 말미에 몇 가지 추가적인 설명이 붙는데 그중 하나가 증거의 질에 대한 검토다. 이 논문의 결과에 대해 연구진은 선형(1시간에 21% 증가)과 비선형(4시간에 1.97배로 증가) 분석 모두 증거의 확실성이 ‘낮다’고 보고하고 있다.
연구의 결과와 현실이 효과는 다를 수 있다
증거의 확실성은 비록 분석 결과가 논문에 쓴 대로 나왔지만, 이 결과가 얼마나 실제 효과를 설명할 수 있다고 자신할 수 있는지를 설명하는 표현이다.
증거의 확실성이 낮다는 말은 분석이 잘못됐다거나 불확실한 건 아니지만, 여러 이유로 연구 문제에 대해 나온 결과가 실제 답이 아닐 수도 있다는 얘기다.
이 여러 이유에는 통상 메타 연구에 포함된 각 연구의 △설계 수준 △방법론의 수준 연구 △결과 간의 차이 △증거가 원래 연구 문제를 직접적으로 증명하는지, 아니면 간접적으로밖에 증명하지 못하는지 △신뢰 수준 내의 결괏값의 분포가 넓은지 △선택적 출판에 의해 가설에 반하는 연구들이 제외됐는지 등이 포함된다. 내적으로 충실한 연구라도 이런 이유로 현실의 반영이 왜곡되거나 부정확할 여지가 있다.
지난번에 성장 마인드셋 이야기할 때도 부정적 결과를 출판하지 않아 분석에서 제외된 경우를 검토하고 이를 포함했더니 성장 마인드셋 효과가 나타나지 않았던 예가 있었다.
이 연구의 경우 포함된 연구들의 편향성에 대한 검토는 양적으로, 질적으로 충분히 인정되는 방법을 통해 했고 이를 부록에 상세히 설명했다. 증거의 질이 낮은 이유는 포함된 각 연구의 결과에 일관성이 없었기 때문이다.
어느 정도까지 일관성이 없나?
이번 연구를 살펴보면 21% 근시 위험성 증가라는 결론을 종합적으로 내리는 데 사용한 개별 연구 중에는 심지어 당연히 스크린 타임이 근시를 유발할 가능성을 조금이나마 높일 것이라고 인식하는 우리의 상식과 반하는 결과값까지 있다.
오즈비가 1보다 낮으면 보호 효과가 발생하는데, 말하자면 스크린 타임이 근시의 가능성을 낮춘다는 얘기다. 이번 45개 연구 중에 이런 연구가 6개나 된다. 오즈비가 낮은 경우 0.9까지 있다. 액면가 그대로만 말하면 스크린 타임 1시간에 근시 가능성이 10% 줄어든다는 얘기다.
반대로 어마어마하게 높은 값도 있다. 어떤 연구는 오즈비가 3.46이다. 스크린 타임 1시간에 근시 가능성이 246% 증가한다는 소리다. 이만큼은 아니지만 2.97이나 2.89도 있다.

보통 이런 문제를 해결하기 위해 전에 성장 마인드셋 연구에서 했듯이 하위 집단 분석을 하거나 영향을 끼친 다른 조절 변수를 분석하는 방법을 쓰기도 한다.
이번에서는 가중치를 두는 방법으로 상이한 결과의 효과들을 종합하고 6가지로 하위 집단 분석을했다. 연구의 표본 크기나 연구 방법론에 따라 가중치를 두는 방법 역시 메타 연구에서 흔히 사용한다.
원래 메타 연구라는 게 일치하지 않은 여러 연구를 종합해 결론을 내려 보는 과정이니 원래 다소 일관성 없는 연구를 다루기가 쉽지만, 그 차이가 클 때는 증거의 확실성이 낮아진다.
연구 결과 하나로 단정하지 않는 태도 필요
현실에서나 정치에서 우리는 한 방에 모든 걸 해결하는 정답을 찾는 걸 선호하지만, 엄정한 학문적 연구에서 그런 태도는 오만이다. 연구자는 해당 연구 문제만 충실히 연구하고 그 이상은 다음 연구자를 위해 남겨두는 것이 학문의 세계이다.
그렇기에 사실 증거의 확실성이 낮지 않더라도 단일 연구 결과로 정책이나 현실에 직접적인 결론을 내리는 일은 항상 조심해야 한다.
하지만, 증거의 확실성이 낮을 때는 특히 더 조심해야 한다. 아무리 메타 연구라고 해도 말이다. 적절한 통계적 처리를 통해 결론을 정리하기는 했지만, 실제 효과는 추정된 결과값하고 다를 가능성이 꽤 있기 때문이다. 추후 다른 연구를 진행할 경우 상충되거나 다른 결과를 도출할 가능성이 높은데 그럴 때마다 매번 결정을 바꿀 수도 없는 노릇이다.
스크린 타임 자체의 문제가 아닐 수 있다
사실 논문의 ‘논의’나 ‘제한점’ 부분만 잘 읽어도 이런 가능성은 충분히 파악할 수 있다. 모든 논문, 그리고 대부분의 연구 또는 조사 보고서는 ‘논의’ 등의 제목으로 제언과 한계 등을 밝히는 부분을 마지막에 포함하고 있다.
이 논문의 논의에서도 1시간의 스크린 타임을 ‘잠재적’ 안전 임계점을 ‘제안’한다고 밝힌다. 확정적인 사실이 아니기에 ‘잠재적’, ‘제안’이라는 매우 신중한 표현을 썼다.
그마저도 이후에 위험성이 증가했기 때문이 아니라 거기까지는 유의미한 상관이 아예 없었기 때문이라고 설명했다. 즉, 이후에 위험성 얼마나 증가하는지는 꼭 이 연구 결과처럼 나온다고 확실히 말할 수 없지만, 적어도 이 정도까지는 안전하다는 말이다.
또한, “다른 근거리 시각 활동과 독립적으로 평가했음을 유의하는 것이 중요하다”고 했다. 책 읽기 같은 근거리 시각 활동이 함께 근시 위험성에 기여할 수 있다 보니 전체적인 경향에 영향을 줄 가능성이 있는데 이를 고려하지 않았다는 얘기다.
“아시아의 많은 지역에 디지털 기기가 널리 보급되기 전에도 근시가 만연했다”며 스크린 타임과 무관한 지역적 요인이 전체 경향에 영향을 끼쳤을 가능성도 언급했다.
메타 연구의 대상이 된 일부 연구에서 여러 기기의 스크린 타임을 종합하는 경우 실제 스크린 타임보다 적은 스크린 타임이 보고돼 근시의 위험이 더 크게 측정됐을 가능성도 있다는 점도 밝혔다.
그렇기에 연구진은 “단순히 스크린 타임을 전통적인 근거리 시각 활동에 우선해서 줄이는 것은 효과적인 예방 전략이 아닐 수 있다”면서 “전체적인 근거리 시각 활동을 줄이고 야외 활동을 늘리는 것이 효과적“이라고 제안한다.
추가적인 연구로 향하는 길
이외에도 ‘제한점’ 부분에서 몇 가지 한계를 더 밝히고 있다.
첫째, 사용된 연구 중 일부는 객관적으로 근시를 측정하지 못했고, 대부분의 연구에서 반복 측정이 이뤄지지 않아 스크린 타임의 장기적인 변동이나 시간적 변화를 반영하지 못했다는 한계를 밝히고 있다.
둘째, 다양한 요인이 영향을 끼치는 근시의 위험과 관련된 다른 변수들을 처리하는 방식이 연구마다 다르기 때문에 이에 따라 연관성의 크기가 달라졌을 수 있다는 것이다. 그래서 좀 더 정교한 분석 모델의 필요성이 제기된다.
셋째, 앞서 말한 낮은 ‘증거의 확실성’을 다시 짚고 “실제 효과가 크게 다를 수 있음을 시사한다”는 것을 명확히 밝혔다.
마지막으로, 이 연구는 단면 연구(cross-sectional)라서 “인과 관계를 도출하는 근거가 될 수 없다”고 밝혔다. 단면 연구 특정 시점의 집단 특성을 조사하기 때문에 대규모 데이터 처리에 유리하지만, 인과 관계를 파악하기 어렵다는 특징이 있다. 결국 스크린 타임 증가가 곧 근시라는 결과를 가져온다는 인과를 증명한 건 아니라는 얘기다.
그럼 소용없는 연구를 하고 홍보만 한 건가?
이 지점까지 오면 결국 인과도 밝힐 수 없고, 실제 효과가 크게 다를 수도 있고, 스크린 타임 줄이는 것으로는 예방도 안 된다면 이 연구를 이렇게 보도하는 게 성과 부풀리기를 한 게 아닌가 하는 질문이 떠오를 수도 있다.
진짜 의미가 없었다면 아마도 학술지에 게재되지 못했을 것이다. 이 상황 역시 학문 세계의 특징을 고려해서 이해해야 한다. 현실에 바로 적용할 수 있는 확실한 결론을 내지 못했더라도 전체적인 이해에 새롭게 한 발짝 더 나아갔다면 의미 있는 성과다.
연구진은 이번 연구가 오히려 “근시 팬데믹에 효과적으로 대응하기 위해 용량-반응 모델을 정교화할 필요성을 부각한다”는 것으로 의의를 설명했다. 결론이 나서 의미 있는 것이 아니라 더 정교한 모델이 필요하다는 사실을 드러내서 앞으로의 연구에 기여하게 됐다는 말이다.
또한, 기존 연구가 스크린 타임과 근시의 연관성이 있다는 연구, 없다는 연구, 기기에 따라 있기도 하고 없기도 하다는 연구가 혼재해 있는 상태에서 좀 더 많은 연구와 기기 종류, 연구 설계, 지역, 연령 등을 고려한 상세하고 종합적인 분석을 통해 상관을 보여줬고, 시간에 따른 S자 형태의 상관이 있을 가능성을 입증했다는 점도 의의로 꼽았다.
이는 기존 연구에서 한층 더 발전한 결과다. 사실 학문의 세계에서는 같은 결과를 내더라도 더 최근의 상황을 더 종합적으로 분석해도 최신 상황을 반영한 것으로 의미가 있는 연구인데, 이 정도면 상당한 성과이기에 학회지에도 실렸을 것이다.
게다가 학문적인 의미만 있고 정책적인 시사점이 없는 것은 아니다. 연구진은 이 연구의 발견이 근시 유행에 대응하기 위한 교육이나 보건 정책 수립에 통찰을 제공할 수 있다고 주장하고 있다.
앞서 말했듯이, 비록 이 연구 하나로 단정적인 결론을 내리는 것은 무리라도 시사점은 줄 수 있다는 말이다.
마치 외국어 같은 서로 다른 세계의 언어들
연구, 정책, 언론, 정치는 서로 깊이 연관돼 있음에도 완전히 다른 세계처럼 아주 다른 언어와 논리를 갖고 있다. 각각의 내용은 세계의 경계를 넘을 때마다 상당한 양의 생략과 왜곡이 이뤄진다. 번역자가 반역자가 된다는 말은 꼭 외국어 번역에만 적용되는 게 아니다.
연구에 관한 기사는 매우 제한적인 의미나 적용 범위를 가진 연구의 결과를 아주 일반적인 언어로 축약하고 풀어쓰게 된다. 시사점이나 가능성만 제안한 것을 단순화해 확정적인 사실처럼 간단하게 기술하는 일도 흔하다.
처음에 말했듯, 기사를 작성하는 문법을 따르다 보면 그렇게 되는 것이다. 게다가 여기서 조회수와 관심을 끌어내야 한다는 언론의 생리까지 덧붙여지면 이런 일은 더 커지기도 한다.
이번에도 보면, 심지어 연구에서는 모든 기기를 종합한 게 의의라는데도 쉬운 언어로 풀어쓰고 좀 더 관심이 갈만한 용어를 넣는다고 스마트폰 1시간 이상 쓰면 어떻다고 쓴 기사들도 있지 않은가.
왜곡이 생긴다고 엄정한 사실대로 쓰기 위해 이런 행태를 바꾸라고 요구할 수는 없다. 그렇게 하면 기사가 더 이상 기사가 아니게 되기 때문이다. 기사라는 매체가 있기에 쉽고 빠르게 어려운 내용을 접할 수 있는 것이다.
여기까지 이렇게 길게 설명한 필자도 앞으로도 기사를 쓸 때는 내용을 다소 왜곡할 수밖에 없다. 심지어 이렇게 길게 ‘주취논객’을 쓸 때조차도 여전히 많은 생략을 하고 주관적인 해석을 담을 것이다.
결국 오해를 하지 않는 것은 독자의 몫이다. 기사에 확정적 사실처럼 써놨어도, 간단한 직접적 인과처럼 기술했어도, 현실에 이렇게 해야 한다고 제목이 붙어도, 그것까지는 아닐 수 있다는 여지를 두고 읽는 수밖에 없다.
물론 왜곡 없이 읽고 싶으면 필자처럼 직접 읽는 것도 방법이다.
이번 논문을 더 자세히 읽고 싶은 독자를 위한 링크는 아래와 같다.
Digital Screen Time and Myopia: A Systematic Review and Dose-Response Meta-Analysis