영어 학술 논문의 초록에서 delve라는 낱말이 쓰이는 빈도가 갑자기 뛰었다. 깊이 파고든다는 뜻이며 영어에서 오래 쓰여온 평범한 단어다. 플로리다주립대학의 톰 유제크와 지나 워드가 2024년 12월 공개한 연구 「Why Does ChatGPT "Delve" So Much?」는 미국 국립의학도서관이 운영하는 의학 논문 데이터베이스 펍메드(PubMed)에서 초록 2,670만 편, 낱말 52억 개를 내려받아 연도별 사용 빈도를 셌다. 3인칭 단수형 delves는 2020년에 백만 단어당 0.21회 나왔고 2024년에는 14.38회 나왔다. 68배다. 같은 방식으로 뽑은 다른 낱말들도 비슷하게 움직였다.
| 낱말 | 2020년 | 2024년 | 증가율 |
|---|---|---|---|
| delves | 0.21 | 14.38 | 6,697% |
| showcasing | 0.59 | 8.79 | 1,396% |
| underscores | 4.50 | 45.19 | 904% |
| intricate | 6.22 | 44.22 | 611% |
| advancements | 12.49 | 47.17 | 278% |
빈도가 뛴 낱말이라고 다 문제는 아니다. 같은 기간에 omicron도 급증했는데 그것은 코로나19 변이가 등장했기 때문이다. 유제크와 워드가 추린 21개 낱말은 내용 변화로 설명되지 않으면서 동시에 챗GPT가 초록을 쓸 때 사람보다 훨씬 자주 꺼내 쓰는 낱말들이다. 두 조건을 함께 만족하는 낱말이 2023년 이후 한꺼번에 늘었다면 원인으로 지목할 대상은 좁혀진다.
규모를 추정한 연구는 따로 있다. 독일 튀빙겐대학 헤르티 인공지능뇌건강연구소의 드미트리 코박 연구진은 2025년 7월 『사이언스 어드밴시스』에 실은 논문에서 2010년부터 2024년까지 나온 펍메드 초록 1,510만 편을 표본으로 삼아 분석했다. 이들은 코로나19 유행 때 사망자 수를 재던 초과사망 계산법을 빌려 썼다.
코박 연구진은 초과분의 크기로 미루어 2024년에 나온 초록 가운데 최소 13.5%가 대규모 언어모델을 거쳤다고 추정했다. 분야와 국가와 학술지에 따라 편차가 컸고 일부 집단에서는 40%까지 올라갔다. 연구진은 이 변화의 크기가 코로나19 유행이 학술 영어에 남긴 변화보다 컸다고 적었다.
이 숫자를 읽을 때 주의할 것이 있다. 13.5%가 가리키는 대상은 초과어휘가 검출된 초록의 하한이며, 챗봇을 쓴 저자의 비율은 여기서 나오지 않는다. 문체 단어를 쓰지 않고 기계를 부린 저자는 잡히지 않고, 기계를 만진 적 없는 저자가 공저자나 편집자를 거쳐 그 낱말을 물려받기도 한다. 지표가 재는 대상은 특정 문체 단어의 밀도다. 그럼에도 하한이 13.5%라는 것은 학술 영어의 표면이 2년 사이에 눈에 보이게 움직였다는 뜻이다.
빈도가 늘었다는 관찰과 왜 늘었는지에 대한 설명은 별개다. 유제크와 워드는 두 번째 질문을 파고들었고, 유력해 보이던 후보들을 하나씩 지웠다.
첫째 후보는 학습 데이터였다. 모델이 그 낱말을 자주 쓰는 이유가 배운 문서에 그 낱말이 원래 많아서라면 설명은 간단해진다. 두 사람은 arXiv 초록, 라이프치히 코퍼스 모음, 위키백과를 놓고 비교했다. 21개 낱말의 빈도는 세 자료 어디에서보다 챗GPT가 만든 초록에서 높았다. 학습 데이터로는 설명되지 않는다.
둘째 후보는 화제가 됐던 가설이다. 모델을 다듬는 데 참여한 평가자 다수가 나이지리아 등지에 있고, 나이지리아 영어에서 delve 같은 낱말이 더 흔하기 때문에 모델이 그 습관을 물려받았다는 추측이 2024년 봄에 널리 퍼졌다. 유제크와 워드는 여러 나라의 영어를 같은 기준으로 모아 놓은 국제영어코퍼스(ICE)로 확인했다. 21개 낱말이 특정 지역 영어에서 유난히 자주 쓰인다는 증거는 나오지 않았다. 코퍼스 규모가 크지 않아 확정적 반증은 아니지만, 이 가설을 뒷받침하는 근거는 없다.
셋째 후보는 사람의 평가를 반영해 모델을 다듬는 단계다.
메타가 공개한 라마2에는 이 단계를 거치지 않은 판과 거친 판이 함께 있다. 두 사람은 양쪽에 사람이 쓴 초록과 챗GPT가 쓴 초록을 넣고 모델이 얼마나 "놀라는지"를 재는 값(단어당 엔트로피)을 비교했다. 이 단계를 거치지 않은 판은 사람 글과 기계 글에 비슷하게 반응했고(1.616 대 1.633), 거친 판은 기계 글 쪽에 뚜렷하게 덜 놀랐다(1.051 대 0.886). 구조와 알고리즘이 같은 두 판에서 차이가 났으니 원인은 그 사이에 놓인 공정에 있다는 뜻이 된다.
사람을 대상으로 한 확인은 실패했다. 두 사람은 인도 거주자 201명에게 초점 단어가 들어간 초록과 빠진 초록을 짝지어 보여주고 선호를 물었는데, 전체로는 유의한 차이가 없었다. 첫 문장이 delves로 시작하는 항목에서만 참가자들이 그 낱말이 없는 쪽을 골랐고(p=0.023), 나머지 항목에서는 오히려 초점 단어가 있는 쪽을 조금 더 선호했다. 두 사람은 참가자들이 이미 이 낱말을 인공지능의 표시로 알고 있어서 생긴 반응일 수 있다고 보고 후속 연구가 필요하다고 적었다.
원인이 특정되지 않았다는 사실은 대응에 영향을 준다. 원인을 모르면 되돌리는 작업도 조준할 수 없고, 남는 방법은 나온 결과를 사후에 걸러내는 것뿐이다. 게다가 걸러낼 목록 자체가 오래 가지 않는다. 유제크와 워드가 GPT-4o 계열로 같은 분석을 다시 돌렸을 때 boasts는 과다 사용 목록에서 빠졌고 delve는 줄었으며 underscore는 오히려 늘었다. 모델을 만드는 쪽이 표면을 손보고 있다는 신호다. 어느 낱말이 인공지능의 표시인지는 몇 달 단위로 바뀐다.
바뀐 것이 글쓰기만은 아니다. 독일 막스플랑크 인간발달연구소의 히로무 야쿠라 연구진은 사람의 말에서도 같은 낱말들이 늘었는지 확인했다. 이들은 대학과 연구기관이 유튜브에 올린 강연 영상 28만 편의 자막을 모아 낱말 빈도의 추세가 챗GPT 공개를 기점으로 꺾이는지 살폈고, 이어 팟캐스트 82만 4,634편에서 대본 없는 대화만 추려낸 73만 7,083시간 분량을 분석했다. 여기에는 합성통제법이 쓰였다. 챗GPT가 나오지 않았다면 그 낱말들의 빈도가 어떻게 움직였을지를 다른 낱말들의 움직임을 조합해 가상으로 만들어 놓고, 실제 빈도가 그 가상선에서 벗어나는지를 보는 방법이다. delve, showcase, boast, meticulous 같은 낱말이 즉흥적인 말하기에서 뚜렷하게 늘었다.
관찰만으로는 인과를 확정하기 어렵다는 지적이 나올 수 있어 연구진은 사전등록 실험을 덧붙였다. 사전등록은 자료를 모으기 전에 가설과 분석 방법을 공개된 곳에 등록해 두는 절차로, 결과를 보고 나서 유리한 분석을 고르는 일을 막는다. 참가자 496명에게 챗봇과 짧게 대화하게 한 뒤 다른 과제를 끼워 넣어 주의를 돌리고, 그다음에 글을 쓰게 했다. 참가자들은 챗봇이 쓴 낱말을 자기 낱말로 골라 썼고, 그 효과는 방해 과제를 거친 뒤에도 남았으며, 두 낱말 중 하나를 고르게 하는 과제에서도 확인됐다. 야쿠라 연구진의 논문은 아직 학술지에 실리지 않은 프리프린트이며, 저자들이 판을 여러 차례 갱신하는 중이다.
여기까지가 어휘에서 일어난 일이다. 관찰 자료와 통제된 실험이 같은 방향을 가리키고 있으니 현상 자체는 다툼거리가 아니다. 그리고 어휘 변화에는 실용적으로 중요한 성질이 하나 있다. 셀 수 있다. 낱말은 검색으로 찾을 수 있고 목록으로 만들 수 있으며, 자기 글에서 어느 낱말이 늘었는지는 본인이 확인할 수 있다.
코넬대학의 모리스 야케시를 비롯한 미국·독일·이스라엘·인도 소속 연구진은 2023년 CHI 학회에서 다른 것을 측정한 결과를 발표했다. 이번 측정 대상은 주장이었다.
연구진은 미국 거주자 1,506명에게 "소셜미디어가 사회에 좋은가"를 두고 게시글을 쓰게 했다. 세 집단으로 나누어 507명은 도움 없이 썼고, 508명은 소셜미디어가 좋다고 주장하도록 설정된 모델의 문장 제안을 받으며 썼고, 491명은 반대로 설정된 모델의 제안을 받으며 썼다. 참가자가 쓰기를 잠시 멈추면 약 1.5초 뒤에 이어질 문장이 회색으로 떠오르고, 탭 키를 누르면 받아들여지는 방식이었다. 완성된 글 9,223문장은 다른 참가자 500명이 문장 단위로 읽고 어느 쪽 주장인지 분류했다.
결과는 두 겹이었다. 첫째로 쓴 내용이 달라졌다. 찬성 쪽 모델을 쓴 참가자는 도움 없이 쓴 참가자보다 소셜미디어가 좋다고 주장할 확률이 2.04배 높았고, 반대 쪽 모델을 쓴 참가자는 나쁘다고 주장할 확률이 2.0배 높았다. 둘째로 글쓰기가 끝난 뒤에 따로 물은 설문의 답이 달라졌다. 도움 없이 쓴 집단에서는 35%가 소셜미디어가 사회에 좋다고 답했는데 찬성 쪽 모델을 쓴 집단에서는 45%가 그렇게 답했다.
설문에서 나타난 태도 차이는 찬성 쪽에서 d=0.22(p<0.001), 반대 쪽에서 d=0.19(p<0.005)였다. 글에 적힌 의견에서는 두 처치 집단과 통제 집단 사이의 평균 차이가 0.29로 d=0.5에 해당했다.
참가자들이 귀찮아서 제안을 받아 넘긴 결과라는 설명은 자료와 맞지 않는다. 참가자들은 문장의 63%를 스스로 썼고 모델의 제안을 통째로 받아들인 문장은 11.5%에 그쳤다. 넷 중 하나는 제안을 한 번도 받아들이지 않았다. 글쓰기에 4분에서 6분을 들인 참가자들, 다시 말해 다섯 문장을 쓰기에 충분한 시간을 들인 사람들에게서도 글에 적힌 의견의 차이는 d=0.34로 남았다.
야케시 연구진의 결과 가운데 대응 방법을 좌우하는 것은 참가자의 인식이다. 모델이 자기 생각과 같은 편에 서 있었던 참가자 중 제안이 한쪽으로 치우쳤다고 알아챈 사람은 10%였다. 모델이 반대편이었을 때도 알아챈 비율은 30%에 그쳤고, 절반이 넘는 사람이 제안을 균형 잡힌 것으로 평가했다. 그리고 모델이 자기 의견에 반대할 때조차 참가자의 대다수가 그 모델을 전문성 있는 상대로 여겼다. 자기 글이 모델의 영향을 받았다고 답한 비율은 최대 34%였다. 연구진은 이 현상에 잠재 설득(latent persuasion)이라는 이름을 붙였다. 설득하는 쪽이 따로 없고 설득당하는 쪽도 설득당한 줄 모르는 형태여서다.
연구의 한계는 저자들이 스스로 밝혀 두었다. 주제가 하나였고, 모델은 일부러 강하게 치우치도록 설정됐으며, 참가자는 모델과 한 번 만났을 뿐이다. 실제 제품에 들어가는 모델은 이만큼 치우치지 않는다. 그런데 같은 조건이 반대 방향으로도 작동한다. 실제 사용자는 같은 모델을 수백 번 만나고, 수백만 명이 같은 모델 하나를 쓰며, 그렇게 쓰인 글이 다시 다음 모델의 학습 자료가 된다. 약한 편향이 반복 노출과 곱해질 때 어떤 크기가 되는지를 잰 연구는 없다.
주장이 옮겨간다면 여러 사람의 글이 서로 닮아갈 것이라는 예상이 따라 나온다. 이것을 잰 연구가 몇 건 있다.
유니버시티칼리지런던의 아닐 도시와 엑서터대학의 올리버 하우저는 2024년 7월 『사이언스 어드밴시스』에 실은 논문에서 영국 거주자 293명에게 여덟 문장짜리 짧은 소설을 쓰게 했다. 세 조건으로 나누어 한 집단은 도움 없이 썼고, 다른 두 집단은 GPT-4가 만든 세 문장짜리 출발 아이디어를 각각 한 개와 다섯 개까지 받아볼 수 있었다. 완성된 293편은 평가자 600명이 3,519번에 걸쳐 읽고 채점했다. 아이디어를 받은 글은 더 창의적이고 더 잘 썼으며 더 재미있다는 평가를 받았고, 원래 창의성 점수가 낮았던 필자에게서 상승 폭이 컸다. 그런데 같은 글들이 서로 더 비슷했다. 두 저자는 이 구조를 사회적 딜레마라고 정리했다. 각자에게는 이득이고 전체로는 손해인 선택이 겹쳐 있다는 뜻이다.
뉴욕대학의 비샤크 파드마쿠마르와 허 허(He He)는 2024년 ICLR에서 어느 쪽이 유사성을 만들어내는지를 나누어 보았다. 두 사람은 2023년 3월부터 7월까지 업워크에서 모집한 필자 38명에게 열 가지 주제로 논증하는 글을 쓰게 해 300편을 모았다. 조건은 셋이었다. 도움 없이 쓰기, 사람 피드백으로 다듬지 않은 모델(GPT-3)과 함께 쓰기, 다듬은 모델(InstructGPT)과 함께 쓰기다. 같은 주제로 쓴 글끼리 얼마나 닮았는지를 재는 지표는 도움 없이 쓴 경우 0.1536, GPT-3와 쓴 경우 0.1578, InstructGPT와 쓴 경우 0.1660이었다. 통계적으로 유의한 상승은 마지막 조건에서만 나타났다. 두 모델이 글에 기여한 분량은 비슷했는데도 그랬다.
두 사람이 얻은 결과 하나는 지금까지의 서술과 반대 방향을 가리킨다. 두 사람은 필자 38명이 쓴 300편에서 각 글자를 사람이 쳤는지 모델이 넣었는지 기록으로 구분한 다음, 사람이 쓴 부분과 모델이 넣은 부분을 따로 분석했다. 유사성이 올라간 것은 모델이 넣은 부분이었고, 사람이 직접 쓴 부분의 표현 분포와 주장 유사도는 어느 조건에서나 같았다. 두 사람은 이 결과를 낙관적인 그림이라고 적으면서, 자기들의 실험이 한 번의 세션만 다루었으므로 반복 사용에서는 달라질 수 있다는 단서를 달았다.
두 결과를 나란히 놓으면 서로 부딪히는 것처럼 보인다. 한쪽은 사람이 쓴 문장이 그대로였다고 하고 다른 한쪽은 사람의 의견이 옮겨갔다고 한다. 재는 대상이 다르기 때문에 생긴 차이다. 파드마쿠마르와 허가 잰 것은 한 번의 글쓰기에서 사람이 친 글자들의 표현 분포이고, 야케시 연구진이 잰 것은 글쓰기가 끝난 뒤 다른 화면에서 물은 태도다. 어휘가 그대로여도 주장이 바뀔 수 있고, 실제로 그렇게 나왔다. 표현이 지켜졌다는 사실은 의견이 지켜졌다는 근거가 되지 못한다.
균질화가 영어권 안에서만 일어나는 것도 아니다. 코넬대학의 드루브 아가르왈, 모르 나만, 아디티아 바시스타는 2025년 CHI에서 인도와 미국 거주자 118명에게 각자의 문화적 배경이 드러나는 주제로 글을 쓰게 했다. 자동 완성 제안을 받았을 때 두 집단 각각의 글이 서로 더 비슷해졌고, 인도 참가자의 글과 미국 참가자의 글 사이의 유사도가 더 크게 올라갔다(t(6958)=−17.89, p<0.001, d=−0.44). 글쓴이의 출신을 맞히도록 훈련시킨 분류 모델은 제안을 받고 쓴 글에서 성능이 떨어졌다. 세 사람은 이 변화가 문법 오류를 고쳐준 결과이거나 고유명사가 빠진 결과가 아님을 따로 확인했다. 인도 참가자의 어휘 다양성 지표는 제안을 받았을 때 미국 참가자 쪽 값에 가까워졌고, 미국 참가자의 값은 움직이지 않았다.
한국어로 글을 쓰는 사람에게 중요한 결과다. 균질화는 대칭이 아니다. 모델이 잘 아는 규범 쪽으로 한 방향으로 움직이며, 그 규범에서 멀리 있는 필자일수록 더 많이 움직인다. 한국어 문장에서 인공지능의 흔적이 유난히 두드러지는 이유도 여기에 있다. 영어에서는 낱말 몇 개가 문제라면 한국어에서는 그 위에 번역된 문장 구조가 한 겹 더 얹힌다.
지금까지의 자료는 두 갈래로 정리된다. 어휘 쪽은 확인이 끝났다. 코박 연구진과 유제크·워드가 대규모 자료에서 빈도 변화를 확인했고, 야쿠라 연구진은 그 변화가 글을 넘어 말에까지 왔음을 보였으며 사전등록 실험으로 인과까지 짚었다. 어휘 변화는 셀 수 있고, 검색할 수 있으며, 고칠 수 있다. 모델을 만드는 쪽이 이미 손보고 있어서 목록의 유효기간이 짧다는 것이 오히려 문제일 정도다.
의견 쪽은 다르다. 야케시 연구진은 문장을 제안받으며 쓴 사람의 주장이 옮겨가고 그 변화가 글쓰기가 끝난 뒤의 태도 설문에까지 남는다는 것을 1,506명 규모의 통제 실험으로 보였다. 그러면서 모델이 자기 생각과 같은 편에 서 있었던 참가자의 90%는 제안이 치우쳤다는 사실조차 알아채지 못했다. 도시와 하우저, 파드마쿠마르와 허, 아가르왈 연구진의 결과는 그 개별 변화가 모이면 여러 사람의 글이 서로 닮아간다는 것을 각각 다른 재료로 보여준다.
무엇을 손실로 볼 것인지에 따라 대응이 달라진다. 문체를 손실로 보면 대응은 목록과 교정이고 비용이 싸다. 자기 글에서 늘어난 낱말을 찾아 바꾸면 되고, 확인도 본인이 할 수 있다. 주장을 손실로 보면 대응이 달라진다. 검색으로 찾을 수 없고, 자기 점검으로도 잡히지 않으며, 사후 교정이 성립하지 않는다. 이미 옮겨간 주장은 본인에게 자기 주장으로 보이기 때문이다. 남는 방법은 언제 노출되느냐를 정해두는 절차뿐이다. 야케시 연구진의 실험에서 태도가 옮겨간 자리는 초안을 쓰는 동안이었고, 그때 참가자들은 자기가 무엇을 결정할지 아직 정하지 않은 상태였다.
도구를 쓰지 않는 것을 대응으로 삼는 방식은 두 갈래 어디에도 맞지 않는다. 어휘에는 값이 과하고 주장에는 조준이 어긋난다. 어휘는 노출을 끊지 않아도 걸러낼 수 있다. 주장이 옮겨갈지는 도구를 쓰는지가 아닌 결론을 정하기 전에 제안을 받는지에 달려 있다. 그리고 야쿠라 연구진의 결과대로라면 도구를 전혀 쓰지 않는 사람도 남이 쓴 글과 말을 통해 같은 낱말을 받는다.
가까운 시일에 확인될 것이 하나 있다. 모델을 만드는 쪽에서 초점 단어를 계속 억누르면 초과어휘 지표는 내려간다. 유제크와 워드가 GPT-4o 계열에서 이미 그 일부를 관측했다. 그때 여러 사람의 글이 서로 닮는 정도까지 함께 내려가는지를 확인해야 한다. 함께 내려가면 어휘와 주장의 변화가 같은 원인에서 나왔다는 뜻이고, 어휘 지표만 내려가고 유사도가 그대로면 두 변화는 별개이며 표면을 손보는 작업으로는 아무것도 해결되지 않는다는 뜻이다. 후자라면 이 글이 나눈 구분이 유지되고, 전자라면 무너진다.
정리되지 않은 물음도 남는다. 지금까지의 통제 실험은 모두 한 번의 세션을 다루었다. 매일 같은 모델과 일하는 사람에게서 효과가 쌓이는지 사라지는지를 재어 본 연구는 나오지 않았다. 그리고 초과어휘를 계산한 자료는 영어 학술 문헌과 영어 팟캐스트였다. 한국어에서 같은 지표를 잰 연구는 나오지 않았고, 균질화가 비영어권 필자를 더 크게 움직인다는 아가르왈 연구진의 결과를 감안하면 한국어에서의 크기는 영어에서 잰 값보다 클 가능성이 있다.