jacobhan.me

AI 과학 자동화의 병목은 가설 생성이 아니라 검증이다 — 자율 실험실의 논문 정정과 학회 심사에서 드러난 비대칭

2026년 8월 27일

가설을 만드는 시간은 10년에서 이틀로 줄었다. 그 가설이 맞는지 확인하는 시간은 줄지 않았다. 2026년에 나온 세 건의 기록, 곧 자율 실험실 논문의 저자 정정과 기계학습 학회의 대량 반려와 오류 검출 벤치마크 성적은 자동화가 연구 주기의 한쪽 끝에서만 일어나고 있음을 보여준다.

27년을 다닌 회사를 떠나 '실험 루프'를 자동화하겠다는 선언

2026년 8월 5일, 제프 딘이 구글을 떠났다. 1999년에 서른 번째 안팎의 직원으로 입사해 27년을 일한 사람이다. 구글 검색과 광고의 초기 구조, 대용량 데이터를 여러 대의 컴퓨터에 나눠 처리하는 맵리듀스와 구글 파일 시스템, 텐서플로와 텐서처리장치(TPU), 제미나이에 이르기까지 지금 인공지능 산업이 딛고 선 기반 설비 상당수가 그의 손을 거쳤다.

그가 세운 회사는 디스커버리 루프다. 함께 나온 사람은 사냐이 게마왓, 오리올 비냘스, 쿽 레 세 명이다. 회사 형태는 공익법인(public benefit corporation)으로, 이익을 추구하되 정관에 공익 목적을 함께 새겨 넣는 미국식 법인이다. 구글이 창업 투자자이자 클라우드 파트너로 참여했고, 시드 투자는 래디컬 벤처스와 코슬라 벤처스가 공동 주도했다. 딘이 공개한 발표문의 목적어는 짧다.

automate machine learning, science, and engineering

기계학습과 과학과 공학을 자동화한다

제프 딘, 2026년 8월 5일 공개 발표

회사 홈페이지의 설명은 더 구체적이다. 과학 연구는 실험을 제안하고, 실제로 수행하고, 결과를 평가하고, 그 평가를 근거로 다시 제안하는 순환으로 이루어진다. 디스커버리 루프는 이 순환 전체를 자동화해 수천 개를 동시에 돌리겠다고 밝힌다. 병목을 규모의 문제로 보는 진단이 깔려 있다. 물어야 할 질문은 많은데 동시에 돌아가는 실험 주기가 너무 적다고 본다. 첫 적용 대상은 기계학습 연구 자체이며, 그렇게 얻은 능력으로 자사의 기술 더미를 먼저 개선한 뒤 반도체 설계와 생물학, 신약, 재료로 넓힌다는 순서까지 적혀 있다. 궁극 목표로는 미국 공학한림원이 제시한 그랜드 챌린지 목록이 걸려 있다. 더 나은 의약품, 건강 정보학, 값싼 태양에너지, 깨끗한 물, 사이버공간 보안 같은 항목이다.

순환의 네 단계 가운데 두 개는 만드는 일이고 두 개는 확인하는 일이다. 제안과 구현은 만드는 쪽이고, 수행과 평가는 확인하는 쪽이다. 지난 3년의 기록을 놓고 보면 두 쪽의 진행 속도가 같지 않았다. 만드는 쪽에서 일어난 일부터 본다.

가설을 만드는 시간은 실제로 줄었다

가설은 아직 확인되지 않은 설명이다. 어떤 세균이 이런 방식으로 항생제 내성을 옮길 것이라고 말하는 문장이며, 연구의 출발점이자 실험 설계의 기준이 된다. 좋은 가설은 흔하지 않고, 분야를 가로지르는 가설은 더 드물다. 서로 다른 두 분야의 개념을 잇는 일에는 두 분야를 다 아는 사람이 필요한데 그런 사람이 적기 때문이다.

막스플랑크 광과학연구소의 마리오 크렌 연구진은 2024년 이 작업을 기계로 옮긴 사이뮤즈(SciMuse)를 공개했다. 「지식그래프와 대형 언어모델을 이용한 흥미로운 과학 아이디어 생성: 연구그룹 책임자 100명의 평가」라는 제목으로 공개된 연구다. 논문 초록 244만 편에서 개념 123,128개를 뽑아 노드로 삼고, 5,800만 편의 논문에서 두 개념이 한 제목이나 초록에 함께 나타나면 그 둘을 선으로 이어 지식그래프를 만들었다. 지식그래프란 개념을 점으로, 개념 사이의 관계를 선으로 표현한 지도를 말한다. 이 지도에서 아직 이어지지 않은 두 점을 골라 대형 언어모델에 넘기면 개인화된 연구 아이디어가 나온다.

평가 규모가 이 연구의 핵심이다. 막스플랑크협회 소속 연구그룹 책임자 100명 이상이 자기 분야에 맞춰 생성된 아이디어 4,400여 개를 흥미도 기준으로 매겼다. 결과에는 반직관적인 대목이 있었다. 지식그래프에서 연결이 많고 인용이 많은 유명한 개념을 쓴 아이디어일수록 흥미도가 낮았고, 연구자 자신의 분야와 의미적으로 가까운 제안일수록 높았다. 널리 알려진 개념을 새롭게 조합하는 것보다 자기 문제에 바짝 붙은 제안이 연구자를 움직였다는 뜻이다.

다만 이 연구가 잰 것은 흥미도이지 성과가 아니다. 연구자가 흥미롭다고 표시한 아이디어가 실제로 논문이 되었는지, 실험에서 살아남았는지는 측정되지 않았다. 크렌 본인도 2026년 미국예술과학아카데미 학술지 Daedalus에 실은 「자율 과학의 철학」에서, 4,000건이 넘는 인간 평가를 확보하고도 무엇이 아이디어를 흥미롭게 만드는지 아직 설명하지 못한다고 적었다. 생성 쪽의 성과 지표가 사람의 인상에 머물러 있다는 사실 자체가 이 글의 논지와 이어진다.

인상 이상의 사례도 있다. 구글이 2025년 2월 공개한 AI 공동연구자(AI co-scientist)는 제미나이 2.0을 바탕으로, 여러 개의 모델이 서로 가설을 내고 반박하는 토론과 승자를 가리는 토너먼트를 거쳐 가설의 순위를 매긴다. 임페리얼 칼리지 런던의 호세 페나데스 팀은 이 시스템에 자기들이 이미 실험으로 확인했으나 아직 어디에도 공개하지 않은 문제를 짧은 프롬프트로 던졌다. 캡시드 형성 파지 유도 염색체 섬(cf-PICI)이 어떻게 여러 종의 세균 사이를 오가느냐는 물음이었다. 파지는 세균을 감염시키는 바이러스이고, 이 염색체 섬은 파지의 껍데기를 빌려 옮겨 다니는 유전 요소를 말한다. 이틀 뒤 시스템이 내놓은 최상위 가설은 연구팀의 미공개 결론과 같았다. 다양한 파지에서 꼬리를 가져다 붙여 숙주 범위를 넓힌다는 기전이었다.

페나데스 팀이 그 결론에 이르는 데 걸린 시간은 10년이다. 이 대비는 널리 인용되지만, 두 숫자가 재는 대상이 서로 다르다. 이틀이 걸린 것은 가설이고, 10년이 걸린 것은 검증이다. 실험으로 확인된 기전은 2025년 Cell에 「키메라 감염 입자가 파지 유도 염색체 섬의 이동에서 종의 경계를 넓힌다」라는 제목으로 실렸고, 그 논문 자체가 문제의 성격을 적어 두었다. 인공지능이 만든 가설이 연구를 실제로 끌고 갈 수 있는지 시험하기가 어려운데, 가설 하나를 검증하는 데 수십 년이 걸릴 수 있기 때문이다. 생성이 빨라진 만큼 검증이 빨라지지 않으면, 확인되지 않은 그럴듯한 문장의 재고만 쌓인다.

17일 만에 만든 41개가 2년 뒤 36개로 정정됐다

확인까지 자동화하겠다는 시도가 자율 실험실이다. 로봇이 시약을 재고 섞고 가열하고, 결과물을 기계가 측정하고, 알고리즘이 성공 여부를 판정한 뒤 이어질 조건을 스스로 정한다. 대표 사례는 로런스 버클리 국립연구소와 캘리포니아대 버클리의 게르브란트 세더 팀이 2023년 11월 Nature 624권 86~91쪽에 발표한 에이랩(A-Lab)이다.

발표된 성적은 17일 연속 가동에 목표 물질 58개 중 41개 합성 성공이었다. 목표는 머티리얼스 프로젝트와 구글 딥마인드의 결정 구조 예측 데이터베이스에서 골랐다. 합성 여부는 분말 엑스선 회절(PXRD)로 판정했다. 가루로 만든 시료에 엑스선을 쬐면 원자 배열에 따라 특정 각도로 빛이 강하게 튀어나오고, 그 무늬를 표준 자료와 맞춰 어떤 결정 구조가 들어 있는지 추정하는 방법이다.

발표 직후 유니버시티 칼리지 런던의 로버트 팔그레이브가 문제를 제기했다. 조시 리먼을 제1저자로, 프린스턴의 레슬리 슈프와 함께 정리한 반박은 2024년 PRX Energy 3권 011002번으로 실렸다. 제목은 「고속 무기물질 예측과 자율 합성의 난점」이다. 요지는 판정 방법의 한계였다. 분말 엑스선 회절은 어떤 원소가 얼마나 들어 있는지를 재지 못하므로 그것만으로 새 물질이라고 단정할 수 없고, 제시된 무늬 가운데 상당수는 맞춤 품질이 나빠 합성 자체를 확언하기 어려우며, 일부는 이미 데이터베이스에 등재된 화합물이라는 지적이었다.

2026년 1월 19일 Nature가 저자 정정을 게재했다(650권 E1). 회절 무늬를 사람이 다시 분석한 결과, 보고된 성공 40건 가운데 36건은 판정이 옳았고 4건은 회절 자료만으로는 판단할 수 없었다. 학습 데이터에 잘못 들어가 있던 화합물 하나는 논의에서 빠졌다. 논문 제목에서 '새로운'이라는 낱말이 사라져 '무기물질의 가속 합성'이 되었고, 본문 숫자는 57개 중 36개로 바뀌었다. 재분석은 출판 후 동료심사를 거쳤다.

에이랩이 목표 물질을 합성하는 데 걸린 시간17일
발표에서 저자 정정까지 걸린 시간약 26개월
최초 보고된 성공 건수58개 중 41개
정정 후 확정된 성공 건수57개 중 36개

정정 자체는 과학이 작동한 증거다. 문제는 시간 배분이다. 로봇이 17일 만에 끝낸 일을 사람이 확인하는 데 2년 넘게 걸렸고, 그 확인은 회절 자료를 손으로 다시 맞춘 다른 실험실의 연구자들이 해냈다. 자율 실험실은 순환의 '수행' 단계를 자동화했지만 '평가' 단계는 자동화하지 못했다. 성공 판정을 내린 알고리즘이 틀린 자리를 잡아낸 것은 결국 다른 실험실의 사람이었다.

임상 1상은 좋아졌고 2상은 그대로였다

같은 비대칭이 신약 개발에서는 숫자로 더 선명하게 남았다. 마두라 자야퉁가 등이 2024년 Drug Discovery Today 29권 104009번에 발표한 「인공지능으로 발굴된 약물은 임상시험에서 얼마나 성공하는가」는 인공지능으로 발굴된 분자들의 임상 성적을 처음으로 모아 계산했다. 표본은 크지 않다. 당시 임상 개발 중인 약물 6,147개 가운데 인공지능이 발굴한 분자는 67개, 약 1%였다.

결과는 두 갈래로 나뉘었다. 임상 1상 성공률은 80~90%로 업계의 역사적 평균을 크게 웃돌았다. 1상은 소수의 건강한 사람에게 투여해 안전성과 체내 거동을 보는 단계다. 분자가 독성이 적고 흡수와 대사가 무난한지를 묻는 구간이며, 화합물의 성질을 예측하는 일은 기계가 잘하는 일에 속한다. 반면 임상 2상 성공률은 약 40%로, 기존 방식으로 발굴된 약과 다르지 않았다. 2상은 실제 환자에게 효과가 있는지를 처음으로 보는 단계다.

여기서 갈라지는 지점이 논지의 핵심이다. 예측이 잘 듣는 구간은 분자의 물성처럼 데이터가 두껍고 정답의 정의가 분명한 곳이다. 정답을 사람의 몸이 알려 주는 구간에서는 생성 모델의 우수함이 성적으로 옮겨 붙지 않았다. 표본이 작아 이 결론을 확정하기는 이르지만, 방향은 에이랩 사례와 같다. 앞쪽이 빨라져도 뒤쪽은 제자리다.

논문은 늘었고 심사할 사람은 늘지 않았다

검증이 압축되지 않는다는 사실은 논문 심사에서 가장 먼저 사고로 나타났다. 학술 논문은 동료 연구자 두세 명이 읽고 판정하는 절차를 통과해야 학회나 학술지에 실린다. 이 절차의 처리 용량은 사람 수와 시간에 묶여 있다.

NeurIPS 제출 논문 수 (2014년)1,700편 남짓
NeurIPS 제출 논문 수 (2025년)21,575편
AAAI 초기 제출 논문 수 (2025년 → 2026년)약 15,000편 → 30,000편 초과
ICML 유효 제출 논문 수 (2026년)26,600편

2026년 서울에서 열린 ICML은 역대 최대 규모의 기계학습 학회가 되었다. 늘어난 쪽은 논문이고 심사자 수는 제자리다. 학회는 리뷰어 한 사람당 5~6편을 목표로 배정했다.

이 압력 아래에서 벌어진 일이 2026년 3월 학회 블로그에 공개됐다. ICML은 심사자에게 두 가지 정책 중 하나를 고르게 했다. 정책 A는 맞춤법 검사를 넘어서는 언어모델 사용을 전면 금지하고, 정책 B는 논문을 이해하거나 문장을 다듬는 데까지만 허용하되 품질 판정과 리뷰 작성은 금지한다. 논문을 챗봇에 올리는 행위 자체가 심사 기밀을 깨뜨리기 때문에 만들어진 구분이다.

집행 방법이 특이했다. 학회는 제출된 모든 논문 PDF에 사람 눈에 보이지 않는 지시문을 심었다. 그 파일이 언어모델에 입력되면, 모델이 약 17만 개 구절이 담긴 사전에서 무작위로 뽑힌 두 구절을 리뷰 안에 넣도록 유도하는 방식이다. 리뷰에 그 두 구절이 함께 나타나면 해당 심사자가 논문 파일을 모델에 넣었다는 뜻이 된다. 프롬프트 인젝션이라 불리는 공격 기법을 학회가 규정 집행에 끌어다 썼다.

결과는 795건의 리뷰 삭제와 497편의 데스크 리젝트였다. 데스크 리젝트는 심사에 넘기지도 않고 반려하는 처분을 말한다. 반려된 논문은 정책 A를 선택하고도 언어모델을 쓴 심사자 398명이 저자로 참여한 것들이며, 전체 제출의 약 2%에 해당한다. 검출된 사례는 모두 사람이 다시 확인했고, 학회는 전체 검출을 통틀어 한 건이라도 잘못 지목했을 확률을 0.0001로 보고했다. 2026년 12월 시드니에서 열릴 NeurIPS도 같은 방식의 숨긴 지시문을 도입했다.

제재의 규모보다 방법이 무엇을 말하는지가 중요하다. 학회가 자기 논문에 공격 코드를 심어야 규정이 지켜지는 상태라면, 그것은 검증 인력이 이미 감당할 수 없는 양을 받고 있다는 뜻이다. 심사자가 모델을 쓰는 이유는 배정량과 남은 시간이 맞지 않기 때문이다. 생성 도구가 제출량을 밀어 올리고, 늘어난 제출량이 검증자를 다시 생성 도구로 밀어 넣는다.

오류를 찾아내는 일은 모델이 가장 못하는 일이다

그러면 검증도 모델에 맡기면 되지 않느냐는 물음이 남는다. 이 물음은 측정된 적이 있다.

2025년 공개된 「AI 공동연구자가 실패할 때: 과학 연구 자동 검증 벤치마크 스팟(SPOT)」은 검증 능력만 따로 재는 자료다. 정오표를 내거나 철회로 이어질 만큼 중대한 오류 91개를 담은 논문 83편을 모으고, 오류의 실체를 실제 저자와 사람 주석자에게 교차 확인한 뒤, 모델에게 논문 전문을 주고 오류를 찾게 했다. 채점 기준은 두 가지다. 재현율은 실제 오류 중 몇 개를 잡아냈는지이고, 정밀도는 모델이 오류라고 지목한 것 중 몇 개가 진짜였는지다.

가장 좋은 성적을 낸 모델(o3)의 재현율21.1%
같은 모델의 정밀도6.1%
그 밖의 모델들0에 가까움

가장 좋은 성적도 실제 오류의 5분의 1을 잡는 데 그쳤고, 지목한 것의 94%가 헛짚은 것이었다. 여기에 더 곤란한 결과가 붙는다. 같은 논문을 여덟 번 반복해 검사시키면 모델이 같은 오류를 다시 찾아내는 일이 드물었다. 자신의 판단에 대한 확신도는 오류 종류를 가리지 않고 낮게 나왔다. 전문가가 검토한 결과, 최상위 모델이 저지른 실수도 논문을 잘못 이해한 학생 수준의 오개념을 닮아 있었다.

재현되지 않는 검출은 검증이 아니다. 검증의 쓸모는 같은 조건에서 같은 답이 나온다는 데 있고, 그래야 통과한 결과에 책임을 걸 수 있다. 이 비대칭에는 구조적인 이유가 있다. 생성은 그럴듯함으로 보상받고 그 그럴듯함을 사람이 즉시 알아본다. 검증은 정확함으로만 보상받으며, 틀렸다는 사실은 한참 뒤에야 드러난다. 훈련 신호가 촘촘한 쪽이 먼저 좋아지는 것은 당연한 순서이고, 그 순서가 뒤집힐 이유는 아직 관측되지 않았다.

학회들은 금지 대신 측정으로 방향을 틀고 있다. AAAI는 2026년 학회에서 실제 투고 논문에 인공지능이 작성한 리뷰를 배포하는 대규모 실험을 실행했다. 그 결과를 정리한 「대규모 인공지능 보조 심사: AAAI-26 인공지능 리뷰 파일럿」에 따르면 이 시도는 학회 규모로 살아 있는 심사에 기계 리뷰를 투입한 첫 사례로 기록됐다. 이 실험들이 어디로 가는지는 스팟 같은 벤치마크의 성적으로 확인할 수 있다. 반복 실행에서 같은 오류를 안정적으로 다시 찾아내는 모델이 나오고 재현율이 사람 심사자에 근접하면 이 글의 판단은 뒤집힌다. 그런 결과가 나오기 전까지, 검증 자동화는 시연 단계에 있다.

결론 — 자동화된 것은 순환의 앞쪽 절반이다

세 갈래의 기록이 같은 곳을 가리킨다. 가설을 만드는 시간은 실제로 줄었다. 10년치 추론이 이틀 만에 나왔고, 4,400개의 개인화된 아이디어가 기계에서 쏟아졌다. 결과를 확인하는 시간은 줄지 않았다. 로봇이 17일에 끝낸 합성을 사람이 26개월에 걸쳐 정정했고, 분자 설계가 끌어올린 것은 안전성을 보는 1상까지였으며, 효능을 보는 2상은 예전 성적 그대로였다. 그리고 검증 자체를 기계에 넘기려는 시도는 실제 오류의 5분의 1을 잡고 지목의 94%를 헛짚는 수준에 머물러 있다.

디스커버리 루프가 자동화하겠다고 밝힌 순환은 제안·구현·수행·평가의 네 단계다. 지금까지 압축된 것은 앞의 두 단계이고, 그 회사가 첫 대상으로 고른 기계학습 연구는 마침 평가가 가장 싼 분야다. 코드를 돌리면 점수가 즉시 나오고, 벤치마크가 정답을 대신하며, 틀린 실험은 몇 분 만에 폐기된다. 물질과 사람의 몸을 상대하는 분야에서는 평가가 순환에서 가장 비싼 단계이고, 그 값은 계산 자원으로 지불되지 않는다. 실험 주기를 수천 개 병렬로 돌린다는 구상은 앞의 두 단계에서는 그대로 성립하지만, 뒤의 두 단계에서는 병렬화할 대상 자체가 사람의 시간과 물리적 설비다.

지난 3년의 인공지능 과학 논쟁은 기계가 사람을 대신할 수 있느냐를 물었다. 2026년의 기록이 남긴 물음은 다르다. 생성이 열 배 빨라진 체계에서 검증 용량을 누가 대는가이다. 학회는 자기 논문에 공격 코드를 심어 심사자를 감시하는 방식으로 답을 미뤘고, 규제 산업은 검증 부담을 그대로 둔 채 앞단만 앞당겼다. 확인되지 않은 그럴듯한 결과가 쌓이는 속도는 그것을 걸러 내는 속도와 무관하게 오르는 중이며, 이 격차를 좁히는 일은 자동화 기술의 성능보다 검증에 얼마를 쓸 것이냐는 배분에 달려 있다.