jacobhan.me

글쓰기가 이해의 빈틈을 드러내는 조건 — 기제를 적을 때는 드러나고 이유를 적을 때는 드러나지 않는다

머릿속에서는 알던 것이 글로 옮기는 순간 무너진다는 경험은 널리 공유된다. 그런데 심리학 실험이 그 무너짐을 실제로 확인한 자리는 좁다. 작동하는 것은 문장을 쓰는 행위가 아니라, 원인에서 결과까지 끊기지 않게 이어 붙이라는 요구다.

조언은 흔하고 효과크기는 0.17이다

쓰면서 배우라는 권고는 학습법 조언에서 거의 기본값으로 통한다. 강의 노트를 다시 정리하고, 읽은 것을 요약하고, 배운 것을 남에게 설명하듯 적어 보라는 말이 여기 속한다. 교육학에서는 이런 활동을 묶어 '쓰기를 통한 학습'이라 부르며, 1970년대 초부터 학습을 돕는 수단으로 권장해 왔다.

효과를 잰 결과는 권고의 열기에 못 미친다. 로버트 뱅거트다운스와 동료들이 2004년 Review of Educational Research에 실은 메타분석은 학교 현장의 프로그램 48건을 모았다. 메타분석은 같은 물음을 다룬 여러 실험의 결과를 하나의 통계값으로 합치는 방법이고, 그 값을 효과크기라 한다. 효과크기는 처치를 받은 집단과 받지 않은 집단의 평균 차이를 표준편차 단위로 잰 수치다. 1.0이면 두 집단이 뚜렷이 갈리고, 0.2 아래면 두 분포가 거의 포개진다.

48건의 가중 평균은 0.17이었다. 48건 중 36건이 양의 값으로 방향은 한쪽으로 쏠렸으나, 크기 자체가 작았다. 2020년 스티브 그레이엄과 동료들이 같은 학술지에 실은 후속 메타분석은 과학·사회·수학 수업의 쓰기 활동 실험 56건, 초등 1학년부터 고교 3학년까지 학생 6,000명 이상을 대상으로 평균 0.30을 얻었다. 다만 개별 실험의 값은 -0.74에서 1.67까지 흩어졌고, 18퍼센트는 음의 방향이었다. 연구진은 이 흩어짐을 설명할 변수를 활동 유형, 교과, 학년, 기간 어디에서도 찾지 못했다고 적었다.

뱅거트다운스 외(2004), 학교 기반 쓰기 학습 프로그램 48건
가중 평균 효과크기 0.17
그레이엄 외(2020), 과학·사회·수학 쓰기 활동 실험 56건
평균 효과크기 0.30 (개별 값 -0.74 ~ 1.67, 18퍼센트가 음의 방향)

평균이 작으면서 분산이 크다는 조합은 두 가지로 읽힌다. 하나는 효과가 애초에 미미하다는 해석이고, 다른 하나는 조건이 갖춰진 일부에서만 크게 작동해 평균이 희석됐다는 해석이다. 뒤쪽 해석을 지지하려면 어떤 조건에서 크게 작동하는지를 지목해야 한다. 그 조건은 쓰기 연구보다 착각을 다룬 인지심리학 쪽에서 먼저 드러났다.

이해했다는 느낌은 설명을 요구받기 전까지 무너지지 않는다

2002년 레오니드 로젠블릿과 프랭크 케일이 Cognitive Science에 실은 연구는 절차 자체가 단순하다. 지퍼, 자물쇠, 수세식 변기처럼 손에 익은 물건을 제시하고, 그 작동 원리를 얼마나 잘 이해하고 있는지 스스로 등급을 매기게 한다. 그다음 어떻게 작동하는지 상세히 서술하게 한다. 서술이 끝나면 다시 등급을 매기게 한다. 두 번째 등급은 첫 번째보다 내려간다.

연구진은 이 현상에 설명 깊이의 착각(illusion of explanatory depth)이라는 이름을 붙였다. 사람은 복잡한 현상을 실제보다 훨씬 정밀하고 일관되게 이해하고 있다고 느끼며, 그 느낌은 설명을 만들어 보라는 요구를 받기 전까지 검증되지 않은 채 유지된다. 지퍼를 매일 여닫는 사람도 톱니가 어떤 순서로 맞물리는지는 적어 내려가다가 막힌다.

같은 시기에 미셸린 치와 동료들이 1994년 보고한 자기설명 연구는 방향이 반대쪽에서 접근한다. 8학년 학생 24명에게 인체 순환계 지문을 읽히되, 14명에게는 한 문장씩 읽은 뒤 그 문장이 무슨 뜻인지, 앞서 읽은 것과 어떻게 이어지는지 소리 내어 설명하게 했다. 나머지 10명은 같은 지문을 두 번 읽기만 했다. 설명을 요구받은 쪽이 사전-사후 검사에서 더 크게 향상했고, 그중에서도 설명을 많이 생성한 학생만 순환계의 올바른 심성 모형에 도달했다. 심성 모형은 어떤 대상이 내부에서 어떻게 굴러가는지를 머릿속에 그린 작동 그림을 가리킨다.

두 연구가 쓴 매체는 서로 달랐다. 한쪽은 서술문을 적게 했고 다른 쪽은 소리 내어 말하게 했다. 요구가 겹치는 지점은 설명의 생성, 그러니까 원인과 결과 사이를 자기 언어로 메우는 작업이다. 쓰기가 학습을 돕는다는 명제는 이 작업을 경유할 때만 성립한다는 추정이 여기서 나온다. 로젠블릿과 케일의 보고에는 그 추정을 훨씬 좁게 조여 놓는 대목이 하나 더 있다.

착각이 강한 지식과 약한 지식이 따로 있다

같은 논문은 착각의 크기가 지식의 종류에 따라 달라진다고 보고했다. 착각은 설명적 지식에서 가장 크고, 사실·절차·서사 지식에서는 훨씬 약하다. 그리고 눈에 보이는 기제가 있는 대상, 즉 부품이 서로 맞물려 움직이는 광경을 실시간으로 떠올릴 수 있는 대상에서 가장 견고하게 나타난다.

착각이 크게 나타난 쪽어떻게 작동하는지, 왜 그렇게 되는지를 다루는 지식. 자물쇠의 내부, 헬리콥터가 뜨는 원리, 무지개가 생기는 과정.
착각이 약하게 나타난 쪽무엇인지를 다루는 사실 지식, 어떤 순서로 하는지를 다루는 절차 지식, 무슨 일이 있었는지를 다루는 서사 지식.

구분의 실질적 함의는 글의 갈래로 옮겨 놓을 때 분명해진다. 인물의 이력을 정리하는 글, 사건의 경과를 시간순으로 늘어놓는 글, 도구의 사용 순서를 안내하는 글은 아무리 길게 써도 필자의 무지를 건드리지 않는다. 이런 글은 항목을 순서대로 놓기만 하면 완성되고, 항목과 항목 사이가 왜 그렇게 이어지는지 묻지 않아도 문장이 끝난다. 부품 목록을 다 적었다고 기계가 조립되지는 않는데, 목록만 적는 글은 조립을 요구받지 않는다.

그러므로 주제 선택만으로는 갈림길이 서지 않는다. 낯선 분야를 골라도 그 분야의 연표와 인명과 용어 정의를 옮겨 적는 데 그치면 처음의 이해 상태가 그대로 남는다. 결정하는 것은 그 글이 인과의 사슬을 끝까지 잇도록 요구하는 형식인지 여부다. 이 요구가 없을 때 어떻게 되는지를 정면으로 실험한 연구가 정치심리학 쪽에 있다.

이유를 대는 글은 착각을 건드리지 않는다

필립 펀바크와 동료들이 2013년 Psychological Science에 실은 연구는 이란 제재, 사회보장 수급 개시 연령 인상, 탄소 배출권 거래제 도입 같은 복잡한 정책을 재료로 삼았다. 첫 실험에는 미국 거주자 198명이 참여했다. 참가자에게 각 정책에 대한 자신의 입장과 이해도를 먼저 밝히게 한 뒤, 두 가지 작업 중 하나를 시켰다.

조건 하나만 바꿨을 때 갈린 결과

기제 서술 조건. 그 정책이 실제로 어떤 경로를 거쳐 효과를 내는지 단계별로 적게 했다. 작업을 마친 참가자들은 자신의 이해도를 앞서보다 낮게 매겼고, 정책에 대한 입장도 덜 극단적으로 바뀌었다.

이유 열거 조건. 그 정책을 지지하거나 반대하는 이유를 적게 했다. 이해도 자평도, 입장의 극단성도 거의 움직이지 않았다.

차이가 생기는 까닭은 두 작업이 요구하는 재료가 다르기 때문이다. 인과 설명은 중간 단계를 하나라도 비우면 문장이 끊긴다. 반면 이유는 가치 판단, 전해 들은 이야기, 일반 원칙에서 얼마든지 끌어올 수 있어 대상에 대한 지식을 거의 요구하지 않는다. 스티븐 슬로먼과 마리아루이사 비베스가 2022년에 정리한 표현대로, 이유는 지식 없이도 조달된다.

이 연구에는 뒷이야기가 붙는다. 재럿 크로퍼드와 존 루시오가 2021년 같은 학술지에 사전등록 재현 3건(참가자 306명, 405명, 343명)을 보고했는데, 태도의 극단성과 내집단 편향이 완화된다는 결과는 재현되지 않았다. 다만 기제를 서술한 뒤 이해도 자평이 내려간다는 결과는 재현됐다. 재현 실패가 잘라 낸 것은 무지의 자각이 정치적 태도까지 바꾼다는 확장이고, 남긴 것은 무지의 자각 자체다. 이 글의 논점에는 남은 쪽으로 충분하다.

남은 쪽만으로도 글쓰기 조언 하나가 흔들린다. 널리 통용되는 권고는 반박 가능한 주장을 하나 세우고 예상되는 반론에 답하며 방어하라고 말한다. 이 형식은 재료 구성으로 보면 이유 열거 쪽에 속한다. 주장을 방어하는 글은 근거를 모으고 배열하게 하지, 원인에서 결과까지의 경로를 끊김 없이 잇게 하지 않는다. 크로퍼드와 루시오의 재현 연구는 기존 신념에 정당화를 붙이면 그 신념이 오히려 강화된다는 종래의 발견은 그대로 재현됐다고 보고했다. 논쟁적 주장을 세우고 방어하는 글이 필자를 더 확신하게 만들 뿐 더 정확하게 만들지는 않는 경로가 여기에 있다.

두 형식이 배타적이지는 않다. 주장을 방어하는 도중에도 그 주장이 왜 성립하는지를 기제로 풀어야 하는 대목이 나오면 착각은 그 자리에서 무너진다. 다만 그 무너짐을 형식이 보장해 주지는 않는다. 우연에 기대지 않으려면 요구하는 형식 자체를 바꿔야 한다.

자주 쓰는 쪽이 길게 쓰는 쪽보다 낫다

형식이 결정적이라는 추정은 앞서 본 메타분석의 조절변수 분석과도 맞물린다. 뱅거트다운스와 동료들은 효과를 키운 요인 둘과 줄인 요인 둘을 각각 지목했다. 키운 쪽은 메타인지 프롬프트의 사용과 처치 기간의 길이였다. 메타인지 프롬프트는 무엇을 이해하지 못했는지, 어디서 막혔는지, 그 막힘을 어떻게 풀 것인지를 스스로 점검하도록 요구하는 지시문을 가리킨다. 치가 학생들에게 문장마다 던진 물음이 바로 이 종류다.

줄인 쪽에는 뜻밖의 항목이 들어 있다. 6학년에서 8학년 사이를 대상으로 한 경우와 함께, 개별 쓰기 과제의 분량이 긴 경우가 효과를 낮췄다. 처치 기간이 길수록 효과가 커지는데 개별 과제가 길수록 효과가 작아진다는 조합은 방향이 엇갈려 보이지만, 점검 횟수로 환산하면 하나로 정리된다. 긴 글 한 편은 점검을 한 번 요구하고, 짧은 글 열 편은 열 번 요구한다. 학기 내내 짧게 자주 쓰는 설계가 한 학기에 장문 한 편을 쓰는 설계를 이긴다.

여기에 유보를 하나 달아야 한다. 그레이엄과 동료들의 2020년 메타분석은 개별 실험의 효과크기 차이를 설명할 변수를 찾지 못했고, 그 목록에는 인지·메타인지 전략의 사용 여부도 포함되어 있었다. 설계가 결과를 가른다는 명제는 2004년 분석에서는 지지됐지만 2020년 분석에서는 재확인되지 않았다. 조건을 특정하려는 시도 자체가 아직 확정 단계에 있지 않다는 뜻이다.

막 배운 사람이 아니라 한 번 넘어와 본 사람

모르는 분야에 대해 쓰라는 권고에는 두 번째 근거가 따라붙는다. 전문가는 자기 분야가 남에게 얼마나 어려운지 감을 잃어버리므로, 이제 막 배우는 사람이 더 나은 입문 설명을 만든다는 주장이다. 앞부분은 실험으로 뒷받침된다.

파멜라 하인즈가 1999년 Journal of Experimental Psychology: Applied에 실은 연구는 복잡한 과제를 초보자가 끝내는 데 걸릴 시간을 예측하게 했다. 참가자는 전문가, 중간 수준 사용자, 초보자로 나뉘었고, 두 번째 실험에서는 숙련도를 실험적으로 조작했다. 두 실험 모두에서 숙련도가 높을수록 예측이 부정확했다. 전문가는 초보자가 겪는 어려움을 체계적으로 과소평가했고, 그 편향을 줄이려고 설계한 교정 기법에도 저항했다.

다만 이 연구가 가장 정확한 예측자로 지목한 쪽은 중간 수준 사용자였다. 어디서 막히는지를 재료로 갖고 있으면서 아직 그 기억이 남아 있는 구간이다. 아무것도 모르는 사람에게는 무엇이 어려웠는지 견줄 재료가 없고, 자기가 무엇을 놓쳤는지 알아챌 방법도 없다. 배우는 중에 쓰라는 권고에서 실제 이득이 나오는 구간은 한 번 통과해 본 상태다.

유창함도 함께 경계할 대상이다. 설명이 매끄럽게 써졌다는 감각은 이해의 증거가 아니다. 로젠블릿과 케일의 절차가 착각을 깬 지점은 서술이 중간에 막히는 자리였다. 막히지 않고 끝까지 써진 설명은 두 경우 중 하나다. 정말로 기제를 알고 있거나, 기제를 요구하지 않는 종류의 문장만 이어 붙였거나.

문장을 대신 만들어 주는 도구가 끼어들 때

2025년 나탈리야 코스미나와 매사추세츠공과대학교 미디어랩 연구진이 공개한 연구는 이 지점을 건드린다. 참가자 54명을 세 조건으로 나눠 에세이를 쓰게 했다. 대규모 언어 모델을 쓰는 조건, 검색 엔진을 쓰는 조건, 아무 도구 없이 쓰는 조건이다. 집필 중 뇌파를 측정한 결과, 외부 도구의 지원이 클수록 뇌 영역 사이의 연결성이 약해졌다. 자기 글에 대한 소유감도 언어 모델 조건에서 가장 낮았다. 몇 분 전에 자기가 쓴 글에서 한 구절을 정확히 옮기지 못한 비율은 언어 모델 조건에서 83.3퍼센트, 나머지 두 조건에서 11.1퍼센트였다.

수치를 그대로 받기에는 제약이 여럿이다. 표본이 54명이고 조건을 바꿔 진행한 네 번째 회차는 18명만 참여했다. 심사를 거치지 않은 공개본이며, 2026년에 나온 논평은 베타 대역 연결성에서는 오히려 반대 방향의 결과가 읽힌다고 지적해 결과의 일관성에 의문을 달았다. 연구진 스스로도 결과가 예비적이며 다른 과제로 일반화되지 않을 수 있다고 적었다.

그럼에도 앞의 연구들과 맞물리는 지점은 남는다. 착각을 깨는 인자로 지목된 것은 설명을 만들다 막히는 순간이었다. 언어 모델이 문장을 대신 생성하면 그 순간이 사라진다. 막히지 않으니 조사할 이유가 생기지 않고, 조사하지 않으니 처음의 이해 상태가 그대로 유지된 채 글만 완성된다. 이 구도에서는 결과물의 품질이 오히려 신호를 가린다. 완성도 높은 글은 필자가 이해했다는 증거처럼 읽히지만, 그 완성도가 어디서 나왔는지는 글 안에 표시되지 않는다.

같은 도구가 반대쪽에 놓일 수도 있다. 자기가 먼저 설명을 만들고, 그 설명의 인과 사슬이 어디서 끊겼는지 지적받는 용도라면 구조가 다르다. 이 용법은 치의 실험에서 학생들이 받은 프롬프트, 그리고 뱅거트다운스가 효과 증대 요인으로 지목한 메타인지 프롬프트에 가깝다. 갈림은 문장을 누가 만들었는지에서 생긴다.

결론 — 무지를 드러내는 것은 글쓰기가 아니라 기제를 끝까지 이어 붙이라는 요구다

쓰면서 배우라는 조언이 널리 퍼진 데 비해 측정된 효과는 작았고, 그 작은 평균 뒤에는 음의 값까지 포함된 큰 흩어짐이 있었다. 흩어짐을 정리해 주는 구분선은 인지심리학 쪽에서 나왔다. 사람이 자기 이해를 과대평가하는 폭은 설명적 지식에서 가장 크고 사실·절차·서사 지식에서는 작으며, 그 과대평가는 인과 경로를 단계별로 적어 보라는 요구를 받을 때 무너진다. 반면 입장의 이유를 대라는 요구는 같은 일을 하지 못한다. 이유는 지식 없이도 조달되기 때문이다.

세 갈래가 같은 방향을 가리킨다. 착각 연구는 기제 서술과 이유 열거를 갈랐고, 자기설명 연구는 설명을 많이 만든 학생만 올바른 작동 그림에 도달했음을 보였으며, 쓰기 메타분석은 스스로 점검하도록 요구하는 지시문이 붙은 설계에서 효과가 커졌다고 보고했다. 세 갈래 모두에서 작동 인자로 지목된 것은 중간 단계를 비울 수 없게 만드는 제약이었다. 이 기준으로 보면 낯선 주제를 고르는 일 자체는 아무것도 보장하지 않으며, 익숙한 주제라도 기제를 끝까지 잇게 하는 형식이면 무지가 드러난다.

확정되지 않은 것도 분명하다. 2020년 메타분석은 실험 사이의 차이를 설명할 변수를 찾지 못해, 설계가 결과를 가른다는 명제 자체를 재확인해 주지 못했다. 인용된 연구들은 대부분 학교 교실과 실험실에서 학생을 대상으로 수행됐고, 자기 의지로 주제를 골라 공개적으로 쓰는 성인 필자에게 같은 크기로 옮겨지는지는 별도의 문제다. 도구가 문장 생성을 떠맡을 때 학습이 어떻게 달라지는지에 대한 증거는 아직 표본이 작고 재현이 쌓이지 않았다. 확실하게 말할 수 있는 범위는 좁다. 이해했다는 느낌은 값이 싸다. 그 값을 올리는 것은 원인과 결과 사이를 비워 둔 채로는 문장이 끝나지 않는 형식이다.