모델을 감싼 실행 층이 스스로를 고쳐 쓴다는 연구 흐름이 2026년에 두꺼워졌다. 보고된 이득은 실재한다. 다만 그 이득이 나온 자리를 따라가면, 자기개선의 속도를 정하는 것은 고칠 줄 아는 능력이 아니라 채점할 줄 아는 설비라는 결론에 닿는다.
릴리안 웡(Lilian Weng)이 자신의 기술 노트 Lil'Log에 2026년 7월 4일 올린 「Harness Engineering for Self-Improvement」는 재귀적 자기개선(recursive self-improvement, 이하 RSI)의 근거리 경로를 하나로 좁혀 놓는다. 모델이 자기 가중치를 직접 고쳐 쓰는 일이 먼저 오지는 않을 것이고, 먼저 오는 것은 모델을 감싼 실행 층이 스스로를 고쳐 쓰는 일이라는 것이다. 그 층의 이름이 하네스(harness)다. 계획을 세우고 도구를 부르고 컨텍스트를 관리하고 산출물을 저장하고 결과를 채점하는 런타임 전체를 가리킨다.
단어를 먼저 보아야 한다. harness는 말에 씌우는 마구, 즉 굴레다. 소프트웨어에서는 시험 대상 코드를 둘러싸 입력을 넣고 출력을 재는 장치를 test harness라 부른다. 두 용법이 공유하는 것은 안쪽에 있는 것이 통제와 계측의 대상이라는 전제다. 같은 층을 부르는 다른 말인 스캐폴딩(scaffolding)은 공사가 끝나면 철거되는 비계를 뜻한다. 두 낱말은 정반대 방향의 예측을 담고 있다. 스캐폴딩이라 부르면 이 층은 임시물이고, 하네스라 부르면 영구 설비다. 이 글이 다루는 문헌들이 후자를 택한 것은 우연이 아니라 베팅이다.
그런데 원문 자체가 그 베팅에 단서를 붙인다. 하네스 개선의 상당 부분은 결국 모델 행동으로 내재화될 것이고, 프롬프트 엔지니어링이 지시 조정과 추론 능력 향상에 흡수되며 중심에서 밀려난 것과 같은 일이 반복될 수 있다는 것이다. 내재화된다는 말은 그 층에 남는 잔여 이득이 줄어든다는 말과 같다. 굴레라는 이름을 붙여 놓고 그 굴레가 말의 근육이 될 것이라고 예측하는 셈인데, 이 긴장이 원문 전체에 걸쳐 해소되지 않는다.
하네스 층이 성능을 좌우한다는 주장은 논증이 필요한 가설이 아니라 이미 관측된 사실이다. 터미널 환경 과제 89개로 구성된 Terminal-Bench 2.x 계열 평가에서, 같은 모델을 다른 실행 층에 얹으면 점수가 달라진다. 2026년 중반 공개 집계에서 GPT-5.5는 Codex CLI 조합으로 83.4퍼센트, 벤치마크가 배포하는 중립 실행 층 Terminus 2 조합으로는 76.40퍼센트를 기록했다. 모델은 같고 층만 다르다. 다른 비교에서는 Gemini 2.5 Pro가 실행 층을 바꾸면서 통과율이 17퍼센트 올랐다. 벤치마크 운영진도 모델 단독 점수를 발표하지 않고 에이전트와 모델의 조합으로 발표한다.
여기까지는 원문에 유리한 근거다. 다만 같은 자리에서 눈금의 굵기도 함께 봐야 한다. 89개 과제에서 7점 차이는 과제 여섯 개 남짓이다. 각 과제를 세 번에서 다섯 번 반복 실행해 분수 성공률을 내는 설계이므로 잡음이 완전히 지워지지는 않는다. 그리고 프런티어 모델과 에이전트가 이 벤치마크에서 65퍼센트를 넘지 못한다는 것이 원 논문의 보고다. 층을 바꿔 얻는 7점은 실재하지만, 남은 35퍼센트를 설명하는 크기는 아니다.
원문은 자기개선 루프의 성립 조건에 관해 서로 다른 방향의 두 결과를 나란히 인용한다. 하나는 개선기(improver) 자체를 개선하는 초기 실험인 STOP(Self-Taught Optimizer)의 결과다. 강한 기반 모델에서는 반복이 성능을 끌어올렸지만 약한 모델에서는 오히려 떨어뜨렸다. 재귀 구조만으로는 부족하고 기반 모델이 기제를 고칠 만큼 유능해야 한다는 것이다. 다른 하나는 2026년 연구가 두 축을 분리해 측정한 결과다. 하네스 수정 능력, 즉 쓸 만한 편집안을 만드는 능력은 90억 파라미터급 모델부터 최상위 모델까지 거의 평평했다. 작은 모델이 만든 스킬 문서가 최상위 모델이 만든 것과 절차적으로 동형이었다. 반면 하네스 이득, 즉 갱신된 하네스를 제때 올바르게 활용해 과제를 더 잘 푸는 능력은 비단조였다. 중간 능력대 모델이 가장 크게 이득을 봤다.
원문은 이 둘을 각각 인용하고 각각에 온당한 해설을 붙인다. 그러나 둘을 곱해 보지는 않는다. 곱하면 모양이 나온다. 아래쪽에서는 제안자가 기제를 개선할 능력이 모자라 루프가 손해를 낸다. 위쪽에서는 개선분이 모델 안으로 흡수되어 별도 층에 남는 몫이 줄어든다. 이득이 남는 곳은 그 사이의 띠다.
복리로 누적되는 이륙 곡선을 얻으려면, 능력이 오를수록 하네스 개선의 이득도 함께 커져야 한다. 인용된 측정은 반대를 말한다. 수정 능력은 능력과 무관하게 평평하고, 이득은 중간에서 꺾인다. 이 두 사실이 동시에 참이면 자기개선 하네스의 수익 곡선은 포화하는 S자이고, 프런티어에 가까워질수록 완만해진다.
원문의 내재화 예측은 이 결론의 다른 표현이다. 다만 원문은 그것을 낙관의 근거로 배치하고, 같은 문장이 곧 자기개선 하네스 층의 수명에 관한 진술이라는 점은 짚지 않는다.
이 판독이 하네스 공학의 실용성을 부정하는 것은 아니다. 오히려 수요자를 특정한다. 층을 손봐서 가장 크게 이득을 보는 쪽은 프런티어 랩이 아니라, 중간 성능 모델을 운용하며 그 격차를 설비로 메우려는 조직이다. 실제로 자기개선 하네스를 다룬 2026년 연구들이 실험 대상으로 고른 백본은 상당수가 오픈웨이트 중형 모델이었다.
원문은 최적화 대상의 상승을 한 줄로 정리한다. 지시 프롬프트에서 구조화된 컨텍스트로, 워크플로로, 하네스 코드로, 마지막에는 그 하네스를 만드는 옵티마이저 코드로 올라간다. 각 단마다 대표 연구가 붙는다. 컨텍스트를 늘어나는 프롬프트가 아니라 항목 단위로 관리되는 규칙집으로 다루는 ACE(Agentic Context Engineering), 컨텍스트를 관리하는 기제 자체를 스킬로 진화시키는 MCE(Meta Context Engineering), 하네스를 최적화하는 코드를 최적화 대상으로 삼는 Meta-Harness, 에이전트 설계를 코드로 놓고 메타에이전트가 탐색하게 하는 ADAS(Automated Design of Agentic Systems), 워크플로를 그래프로 표현해 몬테카를로 트리 탐색(Monte Carlo Tree Search)으로 뒤지는 AFlow가 그 목록이다.
다섯 단을 올라가는 동안 함께 올라가지 않은 것이 하나 있다. 채점하는 쪽이다.
1단과 2단은 채점이 값으로 끝난다. 프롬프트를 바꿨을 때 정답률이 오르는지, 컨텍스트를 줄였을 때 통과 개수가 유지되는지는 스크립트가 판정한다. 3단부터는 사정이 달라진다. 어떤 워크플로가 더 나은지, 어떤 하네스 코드가 더 건강한지, 어떤 옵티마이저가 더 일반화하는지는 프로그램이 아니라 판단의 대상이다. 그런데 실제로 쓰인 적합도 함수는 여전히 벤치마크 통과율이다. 대상은 추상 쪽으로 올라갔고 자(尺)는 그 자리에 남았다.
이 어긋남은 이미 흔적을 남기고 있다. 세 가지가 겹친다.
첫째, 자를 고치면 순위가 바뀐다. 자기개선 하네스 연구들이 성과를 보고한 Terminal-Bench 2.0은 이후 2.1로 개정됐고, 개정의 내용이 모호한 과제 정의와 결함 있는 검증 스크립트의 수정이었다. 검증 스크립트에 결함이 있는 동안 그 스크립트를 적합도로 삼아 탐색을 돌렸다면, 얻은 이득의 일부는 과제 해결이 아니라 검증기의 빈틈에 대한 적응이다. 원문이 병목 목록의 다섯째로 올린 보상 해킹(reward hacking)은 결과의 뒤에 오는 위험이 아니라 결과의 성립 조건에 걸려 있다.
둘째, 탐색으로 얻은 이득이 이전(移轉)으로도 얻어진다. 2026년 4월 공개된 한 연구는 워크플로를 탐색하지 않고 구조적 사전지식에서 곧바로 이전하는 방식이 AFlow를 포함한 탐색 기반 방법과 대등하거나 앞서면서, 과제당 최적화 비용은 0.01달러 미만이었다고 보고했다. 격차가 가장 크게 벌어진 지점은 평가셋이 작거나 문제 구조가 균질한 벤치마크였다. 탐색이 이기던 자리가 곧 탐색이 과적합하기 쉬운 자리였다는 뜻이다. 다른 연구진은 ADAS의 이득이 미미했다고, 또 다른 연구진은 AFlow 실행에서 평가 정보 누출을 관찰했다고 보고했다. 평가를 정확도만으로 좁히면 비용을 놓친다는 비판도 이 계열에서 오래 제기돼 왔다.
셋째, 원문 자신이 이 문제를 첫 번째 병목으로 지목한다. 약하고 흐릿한 검증자가 문제이고, 연구 취향과 신규성과 장기 가치는 재기 어렵다는 것이다. 정확한 진단이다. 다만 그 진단은 결과 목록의 뒤에 놓일 수 없다. 보고된 성과 전부가 검증이 프로그램으로 끝나는 좁은 영역에서 나왔고, 그 영역의 경계가 곧 병목의 경계다. 같은 사실을 앞에서 보면 성과이고 뒤에서 보면 한계다.
검증자 문제가 가장 선명하게 드러나는 사례는 원문이 자동 연구의 강력한 시연으로 소개한 The AI Scientist다. 이 시스템은 2026년 3월 25일 Nature 651권 914~919면에 실렸다. 아이디어 생성부터 코드 작성, 실험 실행, 그림 분석, 원고 작성, 자체 심사까지 사람 손을 대지 않고 통과한다는 것이 요지다.
논문의 세부를 보면 두 개의 채점자가 등장하고, 둘의 성격이 전혀 다르다.
바깥의 채점자는 사람이다. 저자들은 ICLR 2025의 한 워크숍에 생성 원고 세 편을 냈다. 그중 한 편이 6, 7, 6점을 받아 평균 6.33점으로 수락선을 넘었고, 제출 43편 가운데 상위 45퍼센트에 들었다. 논문은 이 워크숍의 수락률이 70퍼센트였다고 밝히고, 같은 학회 본회의 수락률 32퍼센트와 나란히 적어 둔다. 세 편 중 두 편은 기준에 못 미쳤다. 저자 팀이 직접 한 내부 심사에서는 본회의 기준을 넘은 원고가 하나도 없었다. 통과한 그 한 편의 내용은 부정 결과였고, 해당 워크숍이 흥미로운 부정 결과를 주제로 삼는 자리였다. 사전 합의에 따라 세 편 모두 심사 후 철회됐다.
안쪽의 채점자는 모델이다. 시스템은 자체 심사자를 두고 다섯 번의 심사를 앙상블한 뒤 영역 의장 역할로 메타 심사를 붙인다. 이 자동 심사자의 판정 정확도는 학습 컷오프 이전 데이터에서 균형 정확도 69퍼센트, 컷오프 이후 데이터에서 66퍼센트였다. 인간 심사자 기준선도 66퍼센트 수준이므로 논문의 결론은 온당하다. 사람만큼 한다는 것이다.
이 논문의 핵심 도표 두 개는 기반 모델이 새로울수록, 그리고 계산 예산이 클수록 원고 품질이 오른다는 상승 곡선이다. 두 곡선의 세로축은 사람의 평가가 아니라 균형 정확도 66퍼센트인 자동 심사자의 점수다.
따라서 그 곡선의 정확한 진술은 이렇다. 계산을 더 넣으면 66퍼센트 정확도의 심사자가 매기는 점수가 오른다. 이 문장은 참일 수 있고 유용할 수도 있다. 다만 루프 안에서 방향을 정하는 신호가 그 정도 해상도라는 사실은, 원문이 첫 병목으로 적은 약한 검증자가 이미 성과 지표의 자리에 앉아 있음을 뜻한다.
원문은 논문 생산이 과학적 발견과 같지 않다고 명확히 선을 긋는다. 조작된 인용, 구현 이탈, 약한 실험 결과를 안고도 그럴듯한 원고가 나올 수 있다는 것이다. 그 지적은 Nature 논문의 한계 절이 스스로 열거한 실패 양상과 정확히 겹친다. 설익은 착상, 핵심 아이디어의 잘못된 구현, 방법론적 엄밀성 부족, 본문과 부록의 그림 중복, 부정확한 인용을 포함한 여러 종류의 환각이 목록에 있다. 원문이 놓치는 것은 이 실패 양상들이 자동 심사자가 판별하지 못한 채 통과시킨 것들이라는 점이다. 검증자를 루프 안에 두면, 검증자가 못 보는 실패는 적합도 함수에서 사라진다.
이 분야의 논의는 소수의 수치에 크게 의존한다. 각 수치는 대체로 정확하다. 문제는 옮겨지는 과정에서 재는 대상이 바뀐다는 데 있다.
| 인용되는 표현 | 실제로 재는 것 | 정의를 벗어난 읽기 |
|---|---|---|
| 12시간 과제 | 인간 전문가 기준 과제 길이 가운데 성공률이 50퍼센트가 되는 지점 | 12시간짜리 일을 맡길 수 있다는 뜻으로 옮겨진다. 성공률 80퍼센트 기준으로 재면 같은 모델의 지평은 4~6배 짧다. |
| 병합 코드 80퍼센트 | 한 회사에서 모델이 작성하고 사람이 검토·병합한 코드의 비율 | 사람 없이 80퍼센트가 돌아간다는 뜻으로 옮겨진다. 검토와 병합 결정의 주체는 여전히 사람이다. |
| 학습 코드 52배 가속 | 내부 벤치마크에서 미공개 상위 모델의 가중치가 낸 결과 | 하네스 공학의 성과로 옮겨진다. 이 수치는 실행 층이 아니라 모델 교체에서 나왔다. |
| 동료 심사 통과 | 수락률 70퍼센트인 워크숍에 낸 세 편 중 한 편, 평균 6.33점 | 학회 심사를 통과했다는 뜻으로 옮겨진다. 본회의 수락률은 32퍼센트이고, 저자 팀 내부 심사에서 본회의 기준을 넘은 원고는 없었다. |
| 층을 바꿔 7점 | 과제 89개 벤치마크에서 동일 모델의 조합별 점수 차 | 층이 모델보다 중요하다는 뜻으로 옮겨진다. 89개에서 7점은 과제 여섯 개 남짓이고, 이 벤치마크에서 프런티어는 65퍼센트에 못 미친다. |
세 번째 줄이 이 글의 논지와 직접 맞물린다. 2026년 6월 4일 앤트로픽 인스티튜트가 낸 「When AI builds itself」는 RSI 논의에서 가장 자주 인용되는 내부 수치를 공개했다. 2026년 5월 기준 병합 코드의 80퍼센트 이상이 모델 작성분이고, 인당 코드량은 여덟 배가 됐으며, 명세가 없는 열린 문제의 성공률이 여섯 달 만에 26퍼센트에서 76퍼센트로 올랐다. 학습 코드를 스스로 빠르게 만들라는 내부 과제에서 Claude Opus 4는 약 3배, 2026년 4월의 미공개 상위 모델은 52배를 냈다. 잭 클라크(Jack Clark)는 2028년까지 RSI가 도래할 확률을 60퍼센트로 추정했고, 같은 문서는 프런티어 개발을 늦추거나 일시 중단할 선택지를 지금 설계해 두자고 제안한다.
여기서 3배와 52배의 간격을 만든 변수가 무엇인지가 결정적이다. 그것은 실행 층의 교체가 아니라 모델의 교체다. 하네스 층이 핵심 지능만큼 중요하다는 원문의 전제를 시험할 가장 강한 내부 데이터가 공개돼 있고, 그 데이터는 가장 큰 도약을 가중치에 귀속시킨다. 원문의 결론부에도 같은 인정이 짧게 등장한다. 하네스 개선은 모델을 더 잘 배치하게 하지만 지능이 여전히 핵심이라는 문장이다. 그 문장은 원문의 제목이 세운 우선순위와 방향이 다르다.
90억 파라미터급 모델이 최상위 모델과 절차적으로 동형인 하네스 편집안을 쓸 수 있다는 관측은 이 문헌에서 가장 실무적인 함의를 가진 결과다. 하네스를 고칠 지능은 희소하지 않다는 뜻이기 때문이다.
희소한 것은 그 편집안이 좋은지 판정할 설비다. 자기개선 하네스 연구들이 실제로 구축한 것의 목록을 보면 이 점이 드러난다. 실패 궤적을 검증기 기준으로 군집화하는 장치, 편집 전후를 held-in과 held-out으로 나눠 회귀 검사하는 분할, 편집 가능한 표면과 읽기 전용 영역을 갈라놓는 권한 경계, 궤적 하나하나를 파일로 남겨 사후에 질의할 수 있게 만든 저장소가 그것이다. 한 2026년 연구는 실행 기록·추적기·검증기·모델 설정을 읽기 전용으로 못박아 검증기 무력화나 모델 바꿔치기, 추론 예산 증액 같은 우회로를 원천 차단했다고 명시한다. 이 목록에서 값비싼 것은 편집안이 아니라 측정 장치다.
이 관점에서 실행 층의 인터페이스가 업계 전반에서 빠르게 표준화되는 현상도 설명된다. 파일 탐색과 읽기·쓰기, 셸 실행, 웹 조회, 서브에이전트 위임으로 수렴하는 도구 집합이 각 제품에서 거의 같아진 것은, 그 자리가 지대(地代)를 낳는 자리가 아니기 때문이다. 표준화되는 것은 값싼 층이고, 사유화되는 것은 평가 설비다.
원문의 마지막 두 처방은 기술이 아니라 조직에 관한 것이다. 검증자와 권한 통제는 하네스를 진화시키는 루프 밖에 있어야 하고, 사람은 루프에서 빠지는 대신 한 층 위로 올라가 결정적 지점에서 감독해야 한다는 것이다. 프로그램이 자기 운영체제를 고칠 수 있게 되면 추상 경계가 무너진다는 우려도 함께 적혀 있다.
이 처방이 나온 자리를 보아야 한다. 글이 올라온 시점에 저자는 2025년 2월 미라 무라티(Mira Murati)와 함께 세운 Thinking Machines Lab의 공동창업자였다. 그리고 글이 올라온 지 세 주 남짓 뒤인 7월 27일 그는 건강을 이유로 사임을 알렸고, 이틀 뒤 OpenAI가 그의 복귀를 확인했다. 맡는 자리는 내부 연구 가속을 담당하며 RSI 횡단 연구를 지원하는 최상위 팀의 책임자다. 즉 이 글은 특정 연구 의제에 대한 관측 노트였다가, 몇 주 만에 그 의제를 직접 운영하게 된 사람이 미리 적어 둔 설계 제약이 됐다. 검증자를 루프 밖에 두라는 문장의 무게가 달라진다.
같은 기간 조직 쪽 신호는 반대 방향을 가리켰다. OpenAI가 2026년 6월 공개한 연방 프레임워크 청사진은 RSI를 다가올 10년의 가장 중대한 프런티어 안전 문제로 규정하고, 현재 시스템에서 초기 징후가 보인다고 적었다. 그 문서는 독립적 기술 평가를 정부 기관의 시급한 과업으로 요청했다. 그런데 보도에 따르면 같은 무렵 OpenAI는 안전 조직을 연구 부문 아래로 편입해 독립 보고 경로를 없앴다. 미래생명연구소(Future of Life Institute)가 7월 7일 낸 2026년 여름 AI 안전 지수에서 최고 등급은 앤트로픽의 C+(4점 만점에 2.66)였고, OpenAI는 C(2.28), 구글 딥마인드는 2.01이었다. 여섯 영역 가운데 가장 낮은 곳이 실존 안전이었고 어느 기업도 C-를 넘지 못했다.
검증자를 루프 밖에 두라는 요구는 코드로 실현되지 않는다. 검증기 디렉터리를 읽기 전용으로 잠그는 것은 기술적 조치이고, 그 잠금을 풀 권한을 누가 갖는지는 조직의 문제다. 자기개선 루프의 성과 압력과 그 루프를 채점하는 조직이 같은 보고선 아래 있으면, 읽기 전용은 설정값일 뿐 제도가 아니다.
공개된 신호들만 보면, 처방은 기술 층에 적히고 있고 조직 층은 반대로 정리되고 있다.
사람이 한 층 위로 올라가면 문제가 해결된다는 가정 자체도 검증 대상이다. 인간 감독자의 판정 능력에 관한 가장 깨끗한 실측은 METR(Model Evaluation & Threat Research)이 2025년 7월 발표한 무작위 대조 시험이다. 자신이 잘 아는 저장소에서 작업한 숙련 개발자 16명이 과제 246건을 수행했고, 도구 사용이 허용된 조건에서 완료 시간이 19퍼센트 길어졌다. 사전 예상은 24퍼센트 단축이었고, 실험을 마친 뒤의 자기 평가조차 20퍼센트 단축이었다. 방향이 뒤집힌 것이다.
이 결과를 현재 시점에 그대로 옮기면 틀린다. METR 자신이 그 수치를 과거의 스냅숏으로 표시했고, 2026년 2월에는 실험 설계를 바꾼다고 공지했다. 참가자 상당수가 도구 없이 작업해야 할 가능성 때문에 참여나 과제 제출을 꺼려 선택 편향이 커졌고, 새 코호트의 원자료는 속도 향상 쪽을 시사하지만 크기를 말하기에는 근거가 약하다는 것이 기관의 설명이다. 남는 것은 크기가 아니라 방향에 관한 교훈이다. 지각된 생산성은 실측된 생산성의 대리 지표가 되지 못한다.
원문이 에이전트의 실패 양상으로 꼽은 과낙관, 즉 잡음이거나 실패한 실험을 놓고 성공을 선언하는 습성은 인간 쪽에서도 같은 형태로 관측된다. 그렇다면 루프 밖의 인간 심사는 자동 심사자의 편향을 자동으로 교정하지 못한다. 사람을 한 층 위로 올리는 설계가 작동하려면, 사람이 무엇을 근거로 판정하는지가 함께 설계돼야 한다.
이 문헌에서 RSI라는 프레임을 걷어내면 무엇이 남는지를 따져 볼 만하다. 남는 것이 적지 않다.
2026년의 한 연구는 하네스 진화의 병목을 관측 가능성으로 규정하고 세 축을 세웠다. 편집 가능한 모든 구성요소가 파일 시스템에 표상을 가져 행동 공간이 명시적이고 추적 가능해야 한다는 것(구성요소), 수많은 원시 궤적을 과제별 원인 분석 보고서로 접었다가 필요할 때 원본까지 내려갈 수 있는 계층 구조로 정리해야 한다는 것(경험), 그리고 모든 편집에 다음 회차에 검증될 예측을 함께 붙여 반증 가능한 주장으로 만들어야 한다는 것(결정)이다. 하네스를 일곱 구성요소로 분해하고 각 실패 유형을 하나의 구성요소에 대응시킨다는 것도 같은 설계에서 나왔다.
이 세 축은 모델이 스스로 개선하든 사람이 개선하든 무관하게 성립하는 규율이다. 시스템의 실행 이력을 대화 맥락에 흘려보내지 않고 질의 가능한 일급 산출물로 남기는 것, 실패 기록을 종결 코드가 아니라 인과 구조로 적는 것, 모든 변경에 예측을 붙여 다음 회차에 반증되게 하는 것. 이것은 자기개선 이론이 아니라 계측 공학이고, 프런티어 랩이 아닌 조직에서도 오늘 적용된다.
원문이 병목의 셋째로 올린 부정 결과 문제도 같은 성격이다. 문헌은 성공 쪽으로 치우쳐 있고, 그 위에서 학습한 모델은 가설을 언제 버려야 하는지, 실패를 언제 실패로 보고해야 하는지에 약할 수밖에 없다. 연구 하네스는 실패한 시도를 쉽게 보존하도록 만들어져야 한다는 처방이 따라 붙는다. 이 처방의 유효 범위는 자동 연구보다 훨씬 넓다. 실패 로그를 지우지 않는 조직과 지우는 조직의 차이는 모델의 세대와 무관하게 벌어진다.
다양성 붕괴에 관한 지적도 그렇다. 진화 탐색과 강화학습 루프는 알려진 고보상 패턴으로 수렴하는 경향이 있어 개체군이 한 해법의 변종으로 눌리기 쉽다. 열린 연구에서는 최선의 경로가 초기에 현행 평가자 기준으로 더 나빠 보이는 일이 잦으므로 특히 치명적이다. 이 진술은 자기개선 하네스에 관한 것이 아니라, 좁은 지표 하나로 개선을 관리하는 모든 조직에 관한 것이다.
아래 전망은 위에서 확인한 현재 상태에서만 근거를 가져왔다. 각 항목에 반증 조건을 붙였다.
자기개선 하네스의 공개 실적은 채점이 프로그램으로 끝나는 영역에 계속 갇힌다. 터미널 과제, 저장소 수정, 커널 최적화, 수치 최적화가 그 목록의 대부분을 차지한 채로 남는다.
틀리는 조건 — 모델 가중치를 고정한 채 하네스 진화만으로, 채점이 판단에 의존하는 영역에서 held-out 성능이 인간 전문가 기준선을 넘긴 결과가 독립 연구진에 의해 재현되면 이 전망은 틀린다.
Terminal-Bench 2.0에서 보고된 하네스 진화 이득의 일부는 개정판에서 축소된다. 검증 스크립트 결함이 실제로 수정된 전례가 있으므로, 같은 편집이 같은 폭의 이득을 유지한다는 보장이 없다.
틀리는 조건 — 동일 하네스를 개정판에 그대로 올려 재측정했을 때 이득 폭이 원 보고치의 오차 범위 안에 들어오면 이 전망은 틀린다.
하네스 공학의 실질 수요자는 프런티어 랩이 아니라 중간 능력대 모델을 운용하는 조직으로 확정된다. 프런티어에서는 층을 바꿔 얻는 격차가 지금 수준에서 더 좁아진다.
틀리는 조건 — 최상위 모델에서 실행 층 차이로 벌어지는 벤치마크 격차가 현재의 7점 안팎보다 뚜렷하게 확대되면 이 전망은 틀린다.
경쟁 자산이 하네스 코드에서 평가 설비로 옮겨간다. 사내 검증자, 궤적 저장소, 권한 경계, 회귀 분할이 공개되지 않는 자산 목록의 앞자리로 올라온다.
틀리는 조건 — 공개 실행 층과 사내 실행 층의 성능 격차가 벌어지는 한편 평가 설비 쪽 투자와 채용은 정체되면 이 전망은 틀린다.
사람을 한 층 위로 올린다는 설계는 실무에서 감사 부채로 나타난다. 병합량과 변경 폭은 늘고 검토 인력은 그대로여서, 결함이 배포 이후로 밀린다.
틀리는 조건 — 자기개선 루프를 도입한 조직에서 검토 인력당 병합량이 오르는 동안 사후 결함률이 유지되거나 낮아졌다는 데이터가 공개되면 이 전망은 틀린다.
원문의 마지막 문장은 우리가 인류의 더 나은 미래를 위해 이 기술을 만들고 있고 그 반대가 아니라는 진술이다. 이 글이 짚어 온 것은 그 진술의 진위가 아니라 조건이다. 어떤 시스템이 무엇을 향해 개선되는지는 그 시스템이 무엇을 잴 수 있는지로 결정된다. 하네스라는 굴레를 스스로 고쳐 쓰게 만드는 일은 이미 되고 있다. 그 굴레가 어디로 조여드는지를 정하는 것은 여전히 자를 든 쪽이다.
RSI(recursive self-improvement, 재귀적 자기개선) · ACE(Agentic Context Engineering) · MCE(Meta Context Engineering) · ADAS(Automated Design of Agentic Systems) · STOP(Self-Taught Optimizer) · METR(Model Evaluation & Threat Research) · ICLR(International Conference on Learning Representations) · CLI(command line interface, 명령행 인터페이스)