가설을 만드는 일도, 실험을 돌리는 일도 값이 싸졌다. 비싸진 채로 남은 일은 그 결과가 참인지, 그리고 중요한지 가려내는 판정이다. 2026년의 자료들은 자동화 곡선이 정확히 그 지점에서 꺾인다는 사실을 같은 모양으로 보여 준다.
2026년 8월 5일, 구글의 수석과학자 제프 딘이 27년 만에 회사를 떠났다. 함께 나온 사람은 산자이 게마왓, 쿽 레, 오리올 비냘스 세 사람이다. 네 사람이 세운 회사의 이름은 디스커버리 루프(Discovery Loop)이고, 법인 형태는 공익법인회사(Public Benefit Corporation)다. 미국에서 영리 회사로 운영하되 정관에 공익 목적을 명시하는 형태로, 앤스로픽과 오픈AI도 같은 형태를 쓴다. 구글은 창업 투자자이자 클라우드 협력사로 남았다.
회사가 홈페이지 첫 화면에 내건 것은 진단이다. 과학적 발견에는 병목이 있다는 문장으로 시작해, 실험을 제안하고 구현해 돌리고 결과를 살핀 뒤 접근법을 다듬어 다시 반복하는 과정을 사람이 순차적으로 밟아 왔다는 사실을 그 병목으로 지목한다.
진단이 이러하니 처방도 정해진다. 실험 루프 전체를 자동화해 수천 개를 동시에 돌리겠다는 것이 회사의 계획이다. 여기서 실험 루프란 방금 열거한 네 단계, 곧 제안·실행·평가·반복의 한 바퀴를 말한다. 사람은 한 번에 한 바퀴씩만 돌리지만 기계는 수천 바퀴를 병렬로 돌린다는 것이 기본 계산이다. 표적 분야로는 기계학습 연구, 반도체 설계, 생물학, 신약 개발, 소재를 들었다.
같은 페이지에 조건 하나가 조용히 붙어 있다. 측정 가능한 결과를 가진 학습 루프라면 무엇이든 풀 수 있으리라 본다는 단서다. 회사는 첫 단계로 기계학습 연구 자체를 자동화한 뒤 그 능력으로 자사 기술 스택을 최적화하겠다고 밝혔다. 스스로 첫 고객이 된다는 뜻이다.
이 조건이 글의 출발점이다. 측정이 값싼 영역부터 시작한다는 선택은 병목이 실행에 있다는 진단과 잘 맞지 않는다. 실행이 병목이라면 실행 비용이 가장 비싼 영역부터 손대는 편이 이익이 클 텐데, 실제로 고른 곳은 실행이 이미 소프트웨어 안에서 끝나고 결과 판정이 벤치마크 점수 한 줄로 끝나는 영역이다. 그렇다면 병목은 어디에 있는가.
가설 생성이 과학의 희소 자원이라는 통념은 규모 있는 실험으로 검증된 적이 있다. 독일 막스플랑크 광과학연구소의 쉬메이 구와 마리오 크렌은 2024년 사이뮤즈(SciMuse)라는 시스템을 만들고, 그것이 만든 연구 아이디어를 막스플랑크협회 연구책임자들에게 직접 채점하게 했다.
시스템의 얼개는 이렇다. 먼저 arXiv·bioRxiv·medRxiv·chemRxiv에 올라온 논문 약 244만 편의 제목과 초록에서 과학 개념을 뽑아 12만 3,128개의 개념 목록을 만든다. 그다음 오픈알렉스(OpenAlex) 데이터베이스의 논문 5,800만 편을 훑어, 두 개념이 같은 제목이나 초록에 함께 나오면 둘을 선으로 잇는다. 이렇게 만든 그물망이 지식그래프다. 두 연구자의 최근 논문에서 각자의 관심 개념을 뽑아 그래프 위의 작은 영역을 잘라내고, 거기서 고른 개념 두 개를 GPT-4에 건네 공동연구 과제를 지어내게 하는 방식이다.
채점은 2024년 초에 이뤄졌고, 54개 막스플랑크 연구소의 연구책임자 110명이 참여했다. 평균 논문 수 59.7편, 평균 피인용 3,759.7회로, 연구비 심사와 과제 선정을 직접 해 온 사람들이다. 이들이 1점(관심 없음)에서 5점(매우 흥미로움)까지 매긴 응답이 4,451건 모였다. 결과는 4점이나 5점을 받은 것이 1,107건, 전체의 약 25퍼센트였고 그중 5점은 394건이었다.
25퍼센트라는 수치는 두 방향으로 읽힌다. 기계가 아무 대가 없이 찍어낸 제안 네 개 중 하나가 최고 수준 연구자에게 해볼 만하다는 인상을 주었다면 생성 능력 자체는 이미 충분하다. 그러나 이 점수가 재는 것은 흥미도이지 옳음도, 실현 가능성도, 성과도 아니다. 연구책임자가 설문지 앞에서 "흥미롭다"에 표시한 것과 그 과제가 좋은 연구로 자라는 것은 다른 사건이다.
더 눈여겨볼 대목은 따로 있다. 연구진은 아이디어를 세 방식으로 만들었다. 지식그래프에서 무작위로 뽑은 개념쌍을 쓴 경우, 향후 영향력이 클 것으로 예측된 개념쌍을 쓴 경우, 개념쌍 없이 논문 제목만 준 경우다. 세 방식의 흥미도 분포에 유의미한 차이가 없었다. 5,800만 편으로 쌓은 그물망을 쓰든 안 쓰든 결과가 같았다는 뜻이다. 정교한 생성 장치가 결과를 바꾸지 못했다.
또 하나, 두 연구자의 분야가 의미적으로 멀수록 흥미도가 낮았다. 같은 연구소 안의 공동연구 제안이 다른 연구소 사이의 제안보다 높은 점수를 받았다. AI가 사람이 떠올리지 못할 뜻밖의 학제간 조합을 이어 준다는 기대와 반대 방향의 결과다.
그래서 이 연구가 씨름한 문제는 선별이었다. 수천 개 중 어느 것이 높은 점수를 받을지 미리 맞히는 일 말이다. 사람 평가로 학습시킨 신경망은 곡선하면적(AUC) 0.645, 사람 평가 없이 순위를 매긴 GPT-4o는 0.673을 얻었다. 곡선하면적은 1에 가까울수록 분류가 정확하고 0.5면 동전 던지기와 같은 값이다. 두 방법 모두 3분의 2 언저리에 머물렀다. 만들기는 공짜였고 고르기는 어려웠다.
고르기가 어렵다는 말에는 두 층이 있다. 하나는 잘 못 고른다는 뜻이고, 다른 하나는 잘 골랐는지 확인하는 데 드는 비용이 크다는 뜻이다. 스탠퍼드대의 청레이 스, 다이이 양, 타쓰노리 하시모토는 두 층을 차례로 재는 실험을 설계했다.
첫 단계는 2024년에 공개됐다. 자연어처리 연구자 100명 남짓을 모아 한쪽에는 직접 연구 아이디어를 쓰게 하고, 다른 쪽에는 대규모 언어모델이 만든 아이디어를 섞어 어느 쪽이 무엇인지 모르는 상태로 채점하게 했다. AI 아이디어의 참신성 점수는 10점 만점에 5.64점, 사람 것은 4.84점으로 AI 쪽이 유의미하게 높았다(p<0.05). 실현 가능성에서는 사람 아이디어가 조금 앞섰다.
여기까지가 널리 인용된 결과다. 그런데 연구진은 같은 아이디어를 끝까지 실행시키는 두 번째 단계를 붙였다. 전문 연구자 43명에게 사람이 쓴 것과 AI가 쓴 것을 무작위로 배정하고, 각자 100시간 넘게 들여 구현한 뒤 4쪽짜리 논문으로 정리하게 했다. 그렇게 나온 결과물을 다시 익명 심사에 부쳤다.
실행 뒤 점수는 양쪽 다 떨어졌는데, AI 아이디어의 하락폭이 사람 아이디어보다 유의미하게 컸다. 참신성·흥미도·효과성·종합 네 지표 모두에서 그랬다(p<0.05). 아이디어 단계에서 벌어져 있던 격차가 사라졌고, 여러 지표에서는 순위가 뒤집혀 사람 아이디어가 위로 올라갔다. 이 연구는 2026년 국제학습표현학회(ICLR)에 실렸다.
읽고 매기는 판정은 값이 싸고, 해 보고 매기는 판정은 한 건에 100시간이 든다. 그리고 값싼 판정이 내놓은 답은 비싼 판정이 뒤집었다.
실행 전 심사와 실행 후 심사는 같은 사람들이 같은 척도로 매긴 점수다. 달라진 것은 판정에 투입된 비용뿐이다. 제안서만 읽고 매긴 점수는 AI의 손을 들어 주었고, 100시간을 써 본 뒤 매긴 점수는 그 판정을 되돌렸다. 이것이 자동화 논의에서 자주 빠지는 항목이다. 생성량을 늘리면 값싼 판정도 같은 비율로 늘릴 수 있다. 그런데 값싼 판정은 방금 본 것처럼 틀린다.
물리 세계에서도 같은 모양이 나타난다. 2023년 11월 29일 네이처에 실린 에이랩(A-Lab) 논문이 그 사례다. 캘리포니아대 버클리와 로런스버클리국립연구소의 거브랜드 시더 연구진이 구글 딥마인드 연구자들과 함께 만든 자율 실험실로, 문헌에서 합성 조건을 학습한 언어모델이 조리법을 제안하고 로봇이 분말을 섞어 굽고 엑스선 회절로 결과를 판정하는 장치다. 엑스선 회절이란 결정에 엑스선을 쏘아 되튀는 무늬로 물질의 결정 구조를 알아내는 표준 분석법을 말한다.
보고된 성적은 인상적이었다. 17일 연속 가동으로 표적 58개 가운데 41개의 새 무기화합물을 만들었다고 보고했다. 자율 실험실이 사람 없이 신물질을 발견했다는 이야기로 널리 퍼졌다.
논문이 나온 직후 유니버시티칼리지런던의 고체화학자 로버트 팔그레이브가 회절 무늬 해석에 문제를 제기했다. 엑스선 회절만으로는 조성을 재지 못하는데 새 물질이라 부른 것 가운데 상당수가 이미 알려진 물질을 잘못 동정한 결과로 보인다는 지적이었다. 시더는 추가 분석 자료로 반박했고, 논쟁은 그대로 2년을 넘겼다.
네이처가 저자 정정문을 실은 것은 2026년 1월 19일이다(Nature 650, E1). 정정문이 밝힌 내용은 세 가지다. 첫째, 학습 데이터에 이미 들어 있던 화합물 하나를 논의에서 뺐다. 둘째, 남은 40건의 성공 보고를 사람이 회절 무늬부터 다시 손으로 분석해 36건에서 예측 플랫폼의 결론이 옳았음을 확인했고, 4건은 엑스선 회절만으로는 판정할 수 없다고 남겼다. 셋째, 신규성 주장 자체를 다시 규정했다. 애초 주장이 오해를 살 수 있었음을 인정하면서, 그 의도는 해당 물질이 예측 플랫폼에 새롭다는 뜻이었으며 과학계에 새롭다는 뜻으로 읽혀서는 안 된다고 적었다.
정정 뒤 논문 초록의 숫자는 표적 57개 중 36개로 바뀌었다. 네이처는 재분석 자료를 사후 동료심사에 부쳤고, 문제를 제기한 사람들에게 감사를 표하는 문장을 정정문에 남겼다.
여기서 나뉘는 두 가지를 분명히 해 둘 필요가 있다. 로봇이 실제로 해낸 일은 취소되지 않았다. 17일 동안 쉬지 않고 합성을 돌리고 회절 무늬를 얻은 것은 사람이 같은 기간에 하기 어려운 작업량이다. 취소된 것은 그 무늬가 무엇을 뜻하는지에 대한 판정이다. 그리고 그 판정을 바로잡는 데 26개월이 걸렸다. 사람의 재분석, 외부 화학자의 문제 제기, 학술지의 사후 심사가 차례로 필요했다.
실행과 판정의 시간 비율이 17일 대 26개월이다. 자동화된 쪽은 앞의 것이고, 뒤의 것은 그대로 사람의 시간에 묶여 있었다.
판정 노동이 얼마나 버티는지는 학계의 동료심사에서 숫자로 드러났다. 2026년 상반기에 기계학습 분야의 두 대형 학회가 서로 다른 방식으로 같은 문제에 부딪혔다.
먼저 국제기계학습학회(ICML)다. 2026년 대회는 7월 6일부터 11일까지 서울 코엑스에서 열렸고, 유효 투고 2만 6,600편으로 기계학습 학회 사상 최대 규모였다. 조직위원회는 심사자를 등록 단계에서 두 갈래로 나누었다. 정책 A는 언어모델을 전혀 쓰지 않는 쪽, 정책 B는 논문 이해와 문장 다듬기에만 쓰되 질을 판단하거나 심사평을 쓰는 데는 쓰지 않는 쪽이다. 어느 쪽을 따를지는 심사자가 직접 골랐다.
적발 방법은 워터마크였다. 조직위는 17만 개 어구로 사전을 만들고, 투고된 논문 PDF마다 두 어구를 무작위로 뽑아 사람 눈에는 보이지 않고 언어모델만 읽는 지시문으로 심어 두었다. 심사평에 그 두 어구가 함께 나타나면 논문이 모델에 통째로 입력됐다는 증거가 된다. 특정 어구 쌍이 우연히 뽑힐 확률은 100억분의 1보다 작다. 검출된 사례는 모두 사람이 눈으로 다시 확인했고, 조직위가 계산한 집단별 오류율은 0.0001이다.
결과는 정책 A를 택한 심사자 506명이 쓴 795건의 심사평이 적발됐다. 전체 심사평의 약 1퍼센트다. 이 가운데 상호심사 의무를 진 심사자 398명의 투고 497편이 데스크리젝트, 곧 심사 없이 반려됐다. 전체 투고의 약 2퍼센트다. 조직위는 이 방법이 논문을 모델에 넣고 나온 출력을 그대로 붙여 넣는 가장 부주의한 사용만 잡아낼 뿐이며 우회하기도 어렵지 않다고 스스로 밝혔다. 실제 사용률은 1퍼센트보다 높을 것이라는 뜻이다.
얼마나 높은지는 다른 조사가 말해 준다. 출판사 프론티어스가 111개국 학자 약 1,600명을 상대로 한 설문에서 절반 넘는 응답자가 심사 과정에 AI 도구를 썼다고 답했고, 그 상당수는 소속 학술지 지침에 어긋나는 사용이었다.
같은 ICML 2026에서 정반대 방향의 일도 있었다. 조직위는 1월 14일부터 26일까지 구글 리서치의 논문 보조 도구(PAT)로 투고 마감 전 저자들에게 피드백을 제공했다. 약 4,500편이 평균 30분 안에 의견을 받았다. 참여 저자 869명의 설문에서 92.1퍼센트가 다시 쓰겠다고 답했고, 이론을 다룬 논문 저자의 35.4퍼센트는 고치는 데 한 시간 넘게 걸리는 이론적 결함을 지적받았다고 했다. 실험 결과가 있는 논문 저자의 31퍼센트는 그 의견 때문에 새 실험을 돌렸다고 답했다.
한 학회가 같은 해에, 저자 쪽 AI는 공식 사업으로 지원하고 심사자 쪽 AI는 워터마크로 적발해 논문을 반려했다. 비대칭의 이유는 기밀이다. 미공개 원고를 외부 모델에 올리는 것은 심사의 비밀 유지 의무를 깨는 일이기 때문이다. 문제는 그 비대칭이 정확히 병목 쪽에 부담을 몰아준다는 데 있다. 생성은 도구로 가속되고 판정은 사람 손에 묶인다.
그렇다면 심사에 AI를 정면으로 투입하면 어떻게 되는가. 미국인공지능학회(AAAI)가 2025년 8월부터 11월까지 진행한 2026년 대회 심사에서 그 실험을 했다. AAAI가 받은 초기 투고는 3만 편을 넘었다. 전년의 약 1만 5,000편에서 두 배가 됐고, 이를 감당하느라 모집한 심사위원과 영역의장은 2만 8,000명을 넘어 전년의 약 3배가 됐다.
학회는 본 심사에 들어간 논문 2만 2,977편 전부에 AI가 쓴 심사평 한 건씩을 붙였다. 최소 두 건의 사람 심사평 옆에 한 건을 더 붙이는 방식이었고, 점수나 채택 권고는 넣지 않았으며 AI가 쓴 것임을 저자와 심사자 모두에게 표시했다. 전체 생성에 24시간이 걸리지 않았고 비용은 논문 한 편당 1달러가 되지 않았다. 실행 비용이 이 정도라는 사실 자체가 앞선 논의의 연장선에 있다.
저자와 심사위원 5,834명이 응한 설문에서 AI 심사평은 9개 항목 가운데 6개에서 사람 심사평보다 높은 평가를 받았다. 격차가 가장 컸던 항목은 기술적 오류를 정확히 짚어냈는가로, 5점 척도에서 평균 0.67점 앞섰다. 미처 생각하지 못한 논점을 제기했는가에서 0.61점, 발표 방식 개선 제안에서 0.54점, 연구 설계 개선 제안에서 0.49점 앞섰다. 반대로 사소한 문제를 과하게 강조한다는 항목에서는 0.38점 뒤졌다.
자유서술에서 가장 자주 나온 부정적 지적은 다른 곳을 가리켰다. 참신성과 기여의 유의성, 전체적인 과학적 영향에 대한 큰 그림 판단이 약하다는 항목이 전체 언급의 9.1퍼센트로 1위였다. 연구진이 함께 만든 벤치마크가 이 인상을 수치로 뒷받침한다. 이미 출판된 논문의 본문에 다섯 종류의 결함을 일부러 심어 넣고 AI 심사 체계가 그것을 잡아내는지 본 시험이다.
AAAI-26 AI 심사 체계의 결함 검출률: 이미 출판된 논문의 본문에 심어 놓은 783건의 인위적 결함을 유형별로 얼마나 잡아냈는지 나타낸 값이다.
출처: Biswas 외, AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot, arXiv:2604.13940 (2026년 4월). 결함 783건의 유형별 분포는 논지 구성 153건, 서술·전달 173건, 실험·평가 159건, 정확성 144건, 유의성 154건이다.
수식과 증명이 맞는지, 실험 설계에 빠진 비교군이 있는지처럼 문서 안에서 대조하면 판정이 끝나는 항목에서는 검출률이 0.75를 넘는다. 이 연구가 왜 중요한가를 묻는 유의성 항목에서는 0.45로 떨어진다. 무엇이 틀렸는지는 잘 잡고 무엇이 중요한지는 못 잡는다.
결정에 미친 영향도 그 구분을 따라갔다. 심사위원과 영역의장 가운데 AI 심사평 때문에 논문에 대한 평가나 해석이 바뀌었다고 답한 비율은 13.8퍼센트였고, 바뀌지 않았다는 응답이 55.6퍼센트였다. 46.6퍼센트는 사람이 잡기 어려운 문제를 AI가 찾아냈다고 했지만, 거의 같은 49.4퍼센트가 사람이라면 잡았을 것을 AI가 놓쳤다고 답했다. 유용한 보조 도구이되 판정의 주체는 아니라는 응답 구조다.
에이랩에서 무너진 자리와 같은 자리다. 로봇은 합성을 해냈고 회절 무늬도 얻었지만, 그 무늬가 과학계에 새로운 무엇을 뜻하는지에서 틀렸다. AI 심사는 수식 오류를 사람보다 잘 잡았지만, 이 논문이 분야에 무엇을 보태는지에서 가장 약했다. 두 실패는 같은 종류다.
여기서 디스커버리 루프가 붙여 둔 조건으로 돌아갈 만하다. 측정 가능한 결과를 가진 학습 루프라면 무엇이든 풀 수 있으리라는 문장이다. 이 조건은 사업 계획의 핵심이다. 루프를 수천 개 병렬로 돌리려면 한 바퀴가 끝날 때마다 잘됐는지 못됐는지 자동으로 판정이 나와야 한다. 판정이 사람 손을 거쳐야 하는 루프는 병렬화해도 사람 손 앞에서 줄을 선다.
기계학습 연구가 첫 표적이 된 이유가 여기 있다. 벤치마크 점수는 계산이 끝나는 순간 나오고, 계산은 GPU를 더 붙이면 빨라진다. 실행도 판정도 같은 컴퓨터 안에서 끝난다. 반면 소재나 생물은 실행이 물리 세계로 나가야 하고, 판정은 그 물리 세계에서 얻은 신호가 무엇을 뜻하는지 사람이 읽어야 한다. 에이랩이 걸린 곳이 정확히 그 지점이었다.
실행 쪽 지연은 실제로 줄고 있다. 미국 텍사스주 오스틴에 있는 에메랄드 클라우드 랩은 액체 크로마토그래피, 질량분석기, 핵자기공명 장치를 비롯해 200종이 넘는 장비를 갖추고, 연구자가 시료를 보내고 웹 화면에서 실험을 설계하면 로봇이 그대로 수행해 데이터를 돌려준다. 실험실을 짓지 않고도 실험을 살 수 있는 구조다. 다만 회사가 안내하는 결과 회신 시간은 며칠이다. 초 단위로 끝나는 벤치마크 평가와는 자릿수가 다르다. 그리고 돌려받는 것은 데이터이지 판정이 아니다.
이 구조를 놓고 보면 디스커버리 루프가 기계학습 밖으로 나갈 때 성과가 어떤 모양으로 발표될지 짐작할 수 있다. 발견 건수를 앞세우는 방식은 에이랩이 겪은 정정 절차를 다시 겪을 위험이 크므로, 독립 재현이나 2차 분석을 성과 발표에 미리 붙이는 쪽으로 갈 공산이 있다. 이 예상이 틀렸다고 판단할 조건은 분명하다. 회사가 소재나 생물 분야에서 내놓는 첫 성과를 외부 재현이나 추가 특성분석 없이 발견 건수로만 발표하고, 그 발표가 이후 정정 없이 유지된다면 위 예상은 빗나간다.
같은 비대칭이 국내 계획에도 보인다. 국가과학기술연구회(NST)는 2026년 8월 1일 국가과학AI연구센터(NAIS)를 정식 발족시켰다. 운영단장은 한국원자력연구원 인공지능응용연구실장을 지낸 유용균이다. 센터가 내건 전략 과제는 AI 연구개발 플랫폼, 자율형 AI 연구 시스템, 융합 실증 허브, K-문샷 프로젝트 네 가지다. 유 단장은 2026년 7월 과학기자대회 발표에서 모든 과학자가 각자의 책상 위에 하나의 연구소를 두게 되는 시점을 2035년으로 잡았고, 5월 인터뷰에서는 노벨상급 성과를 낼 수 있는 국가 과학 AI 생태계를 목표로 제시했다.
한국과학기술정보연구원(KISTI)은 8월 제주에서 열린 데이터마이닝 학회 KDD 2026에서 AI 사이언티스트를 공개했다. 방대한 과학 문헌을 탐색·분석해 새 연구 가설을 제시하는 시스템이다. 이경하 초거대AI연구센터장은 1차 개발이 끝났으며 한국기초과학지원연구원(KBSI)이 반도체 재료 분야에 적용해 연말 서비스할 계획이라고 밝혔고, 작업 효율이 10배에서 20배 올라갈 것으로 기대한다고 했다.
두 기관이 앞세운 기능은 문헌 분석과 가설 제시, 곧 생성 쪽이다. 사이뮤즈가 보여 준 대로 그 능력은 이미 값이 싸고, 값싼 능력을 더 키운다고 병목이 풀리지는 않는다. 스탠퍼드 실행 연구가 보여 준 대로 생성물의 값어치는 실행 후 판정에서야 드러나고, 에이랩이 보여 준 대로 그 판정은 실행보다 훨씬 오래 걸린다. 문헌 분석 시간을 10배 줄인 연구실이 만들어 낼 가설의 수도 10배가 되는데, 그것을 걸러 낼 사람의 시간은 10배가 되지 않는다.
ICML 2026이 서울에서 열린 것은 이 문제가 국내 학계와 무관하지 않다는 우연한 표시이기도 하다. 코엑스에 모인 2만 6,600편의 투고와 그 가운데 반려된 497편은 생성 능력을 먼저 늘린 공동체가 판정 쪽에서 무엇을 치르는지 보여 준 장부다.
과학 자동화를 둘러싼 진단은 사람의 순차적 반복을 병목으로 지목해 왔다. 2026년까지 쌓인 자료는 다른 그림을 그린다. 생성과 실행은 이미 값이 싸졌고, 비싼 채로 남은 것은 결과가 참인지 그리고 중요한지 판정하는 일이다.
생성이 값싸다는 것은 규모 있게 확인됐다. 막스플랑크협회 연구책임자 110명이 매긴 4,451건 가운데 4점 이상이 25퍼센트였고, 5,800만 편으로 만든 지식그래프를 쓰든 안 쓰든 그 비율이 달라지지 않았다. 실행도 빠르게 값이 싸지는 중이다. 자율 실험실은 17일에 58개 표적을 돌렸고, AAAI는 논문 2만 2,977편의 심사평을 하루 안에 편당 1달러 미만으로 생성했으며, 클라우드 실험실은 시료만 보내면 며칠 안에 데이터를 돌려준다. 그러나 판정 쪽 숫자는 다른 단위를 쓴다. 아이디어 하나의 값어치를 확인하는 데 연구자 한 명의 100시간이 들었고, 자율 실험실의 신규성 주장을 바로잡는 데 26개월이 들었으며, AI 심사는 수식 오류 검출에서 사람을 앞서면서도 유의성 판정에서는 검출률 0.45에 머물렀다.
다만 판정을 무엇으로 보느냐에 따라 결론이 달라진다. 문서나 데이터 안에서 대조하면 끝나는 사실 확인을 판정으로 본다면 자동화는 이미 그 영역을 빠르게 잠식하고 있고, 병목은 곧 풀린다고 말할 수 있다. 어떤 결과가 분야에 무엇을 보태는가에 대한 판단을 판정으로 본다면 그 영역은 아직 열리지 않았다. 쟁점은 자동화 곡선이 이 둘 사이 어디에서 꺾이는가이고, 지금까지 확인된 사례들은 모두 같은 자리에 꺾인 자국을 남겼다. 에이랩은 합성에 성공하고 신규성 판정에서 틀렸으며, AI 심사는 오류 검출에서 앞서고 유의성에서 뒤졌고, 언어모델이 만든 아이디어는 제안서 단계에서 이겼다가 실행 뒤 뒤집혔다.
남는 물음은 그 판정을 누가 어떤 대가로 맡느냐다. 지금 제도는 판정을 사람에게 묶어 두고 있는데, 그 이유에는 판정 능력에 대한 불신과 함께, 미공개 원고를 외부 모델에 올릴 수 없다는 기밀 문제가 함께 있다. ICML이 저자용 AI 도구는 공식 사업으로 운영하면서 심사용 AI는 워터마크로 잡아낸 것이 그 사정을 보여 준다. 프론티어스 설문에서 학자 절반 넘게가 지침을 어기고 심사에 AI를 썼다고 답한 사실은 그 묶음이 이미 헐거워졌음을 말한다. AAAI가 택한 방식, 곧 AI 심사평을 사람 심사평 옆에 표시해 붙이되 점수는 매기지 않게 하는 절충이 다른 학회로 번질지, 아니면 금지와 적발 쪽이 굳어질지는 앞으로 몇 번의 학회 주기에서 관측될 문제다.
그동안에도 생성 쪽 설비는 계속 늘어난다. 디스커버리 루프가 수천 개의 루프를 병렬로 돌리고, 국가과학AI연구센터와 KISTI가 가설 제시 플랫폼을 국가 규모로 세운다. 그렇게 만들어지는 것은 판정을 기다리는 후보의 목록이다. 목록의 길이는 설비로 늘릴 수 있고, 목록을 줄이는 속도는 아직 그렇지 않다.