Harness / Elicitation
Claude Code를 만든 보리스 체르니는 Opus 5 공개 다음 날 무대에 올라 세 개의 숫자를 내놓았다. 시스템 프롬프트의 80퍼센트를 지웠다, 프롬프트 하나로 코드베이스를 11일에 다시 썼다, 프롬프트 인젝션은 이제 시연조차 되지 않는다. 세 숫자는 모두 사실에 근거하지만, 세 숫자가 성립하는 조건은 강연이 말한 것과 다른 곳에 있다.
Anthropic은 2026년 7월 24일 Claude Opus 5를 공개했다. 같은 날 ARC Prize Foundation은 이 모델이 ARC-AGI-3 공개 데모 환경 25개에서 30.16퍼센트를 기록했다고 독립 검증 결과를 냈고, Claude Code 팀은 시스템 프롬프트를 80퍼센트 이상 삭제했다는 기술 문서를 올렸다. 그 이튿날 열린 창업자 대상 행사에서 Claude Code의 책임자가 이 결과들을 묶어 하나의 조언으로 정리했다. 모델이 충분히 똑똑해졌으므로, 모델을 감싸고 있던 비계(scaffolding)를 지우라는 것이다.
조언 자체는 검증 가능한 형태로 제시되었고, 그 점이 이 강연을 다룰 만한 것으로 만든다. 삭제한 분량에는 퍼센트가 붙어 있고, 이주 사례에는 날짜와 줄 수가 붙어 있고, 인젝션 저항에는 시스템 카드가 붙어 있다. 숫자가 붙은 주장은 대조할 수 있다. 아래는 그 대조의 결과다.
Claude Code 팀이 공개한 문서의 주장은 명확하다. Opus 5와 Fable 5를 대상으로 시스템 프롬프트의 80퍼센트 이상을 삭제했고, 내부 코딩 평가에서 측정 가능한 성능 하락이 없었다는 것이다. 여섯 가지 전환이 함께 제시되었다. 규칙을 판단으로, 예시를 도구 인터페이스 설계로, 선행 컨텍스트를 스킬의 점진적 공개로, 시스템 프롬프트와 도구 설명에 중복된 지시를 도구 정의 한 곳으로, 수동으로 관리하는 CLAUDE.md를 자동 메모리로, 단순 마크다운 사양을 코드·테스트 스위트·루브릭 같은 더 두꺼운 참조로 바꿨다는 것이다.
발표 직후 한 개발자가 Claude Code CLI를 로컬 서버로 향하게 해서 모델별로 실제 전달되는 시스템 프롬프트를 그대로 받아 문자 수를 셌다. 결과는 삭제의 방향과 시점을 다르게 보여준다.
Claude Code가 모델에 실제로 전달한 시스템 프롬프트 길이
CLI 트래픽을 로컬로 우회시켜 계측한 값. 단위: 문자
대규모 삭감은 4.7에서 4.8로 넘어가는 구간에서 일어났고, Opus 5용 프롬프트는 4.8용보다 오히려 길다. 회사가 말한 80퍼센트는 Claude 4 세대 초기 프롬프트를 기준선으로 삼은 누적 감소분이며, 세대마다 단조 감소한다는 뜻이 아니다.
퍼센트가 재고 있는 대상
80퍼센트라는 값은 시스템 프롬프트라는 하나의 창구에서 측정된다. 그런데 같은 문서가 밝힌 여섯 가지 전환 중 최소 셋은 삭제가 아니라 이전이다. 중복 지시는 도구 정의로 통합되었고, 선행 컨텍스트는 스킬로 옮겨져 필요할 때 로드되며, 사양은 마크다운 대신 테스트 스위트와 루브릭이 담당한다. 프롬프트 창구의 길이는 줄었지만 시스템이 유지해야 하는 사양의 총량이 줄었다는 근거는 이 숫자에 들어 있지 않다.
줄어든 것은 세션당 상시 점유 컨텍스트이고, 줄지 않은 것은 사람이 작성·유지해야 하는 규격의 총량이다. 두 값을 같은 것으로 읽으면, 도구 스키마 설계와 스킬 분할과 루브릭 작성에 들어간 노동이 회계에서 사라진다. 실제로 이 노동은 늘었다. 예시를 지우는 대신 도구의 파라미터 이름과 반환 형태를 설계하라는 지침이 그 노동의 이름이다.
같은 날 강연과 회사 문서 사이에도 미세한 각도 차이가 있다. 무대에서는 CLAUDE.md와 스킬과 훅을 지워보고 무엇이 일어나는지 보라고 했다. 문서는 선행 컨텍스트를 스킬의 점진적 공개로 바꾸라고 했다. 전자는 스킬을 제거 후보로, 후자는 스킬을 이전 목적지로 취급한다. 회사는 CLAUDE.md와 스킬의 크기를 진단하는 claude doctor 명령을 함께 내놓았는데, 진단 도구의 존재 자체가 "지우라"보다 "크기를 다시 맞추라"에 가까운 입장을 드러낸다.
강연에서 가장 큰 반응을 얻은 사례는 JavaScript 런타임 Bun의 언어 이주다. 강연자의 서술은 이렇게 요약된다. Bun 팀에는 잘 정비된 테스트 스위트가 있었고, 창업자 재러드 섬너가 프롬프트 하나에 동적 워크플로(dynamic workflow)를 붙여 던졌으며, 11일간 돌아 Zig 코드베이스가 Rust로 다시 쓰였고, 지금 Claude Code가 그 결과물 위에서 돌아간다. 진행자가 "한 번에 됐느냐"고 묻자 강연자는 정정한다. 한 번에 된 것은 아니고 조종(steering)이 있었다고.
섬너가 7월 8일 직접 공개한 기록은 이 서술보다 훨씬 구조적이다. 원본은 Zig 파일 1,448개, 53만 5,496줄이었고 산출물은 Rust 100만 줄 이상이었다. 동적 워크플로를 약 50개 돌렸고, 작업 트리 4개에 걸쳐 최대 64개 인스턴스가 동시에 붙었다. 커밋은 6,502개, 최대 산출 속도는 분당 약 1,300줄, 무캐시 입력 59억 토큰과 출력 6.9억 토큰, 캐시된 입력 읽기 720억 토큰이 들었고 공개 API 정가로 환산하면 약 16만 5천 달러다.
중요한 대목은 비용이 아니라 순서다. 섬너는 코드로 바로 들어가지 않고 먼저 두 개의 사양 문서를 만들게 했다. Zig 관용구를 Rust 등가물로 대응시키는 이주 사양과, 메모리 수명을 어떻게 옮길지 규정하는 수명 사양이다. 그 위에 작업 큐를 두고, 생성된 커밋마다 두 차례의 적대적 검토를 통과시켰다. 첫 번역 파동이 끝난 시점에 생성된 코드는 하나도 컴파일되지 않았고, 컴파일 오류 약 1,600개를 잡는 데 다시 약 12시간이 들었다.
"프롬프트 하나"가 가리는 것
강연의 서술과 원기록의 차이는 과장이 아니라 축(軸)의 교체다. 강연은 프롬프트 길이 축에서 이야기한다. 짧게 주고, 가드레일과 종료 조건만 말하고, 물러나라는 것이다. 그런데 Bun 이주에서 실제로 작동한 것은 프롬프트 길이 축이 아니라 판정 장치의 밀도다. 이주 사양·수명 사양·작업 큐·커밋별 적대적 검토·100만 개가 넘는 테스트 단정문이 하나의 판정 회로를 이루고, 모델은 그 회로 안에서 실패를 구조화된 다음 작업으로 되돌려 받았다.
섬너 자신이 산출물을 코드가 아니라 이주 시스템이라고 불렀다. 코드는 규칙이 불완전함이 드러날 때마다 지우고 다시 생성할 수 있는 출력이라는 것이다. 이 서술이 맞다면, 이 사례는 비계를 지운 사례가 아니라 비계의 종류를 바꾼 사례다. 지시문 형태의 비계는 줄었고, 판정 장치 형태의 비계는 프로젝트의 본체가 되었다.
Bun은 2025년 12월 2일 Anthropic에 인수되었고, Claude Code는 Bun 실행 파일로 배포된다. Bun이 깨지면 Claude Code가 깨지는 관계다. 이주에 쓰인 모델은 당시 공개 전이던 Fable 5였고, 판정을 맡은 테스트 스위트는 단정문 100만 개 규모로 6개 플랫폼을 덮고 있었다. 강연에서 이 사례가 "모델에게 조금 어려운 과제를 던져 보라"의 예시로 제시될 때, 이 세 조건은 언급되지 않는다.
발화 위치가 서술의 강조점을 어떻게 정하는지가 여기서 드러난다. 무대의 화자는 하네스 제작자이고, 그가 상대한 청중은 지금 무엇을 만들지 고르는 창업자들이다. 이 배치에서 가장 전달력 높은 문장은 "제품이 모델을 방해하고 있다"이고, 가장 전달력 낮은 문장은 "우리 사례는 사내 최적 조건이었다"이다. 강연이 전자를 택한 것은 기만이라기보다 위치의 함수다. 다만 그 위치를 감안하면, 사례에서 이식 가능한 부분과 이식 불가능한 부분을 청중이 직접 갈라야 한다.
Zig 언어 창시자 앤드루 켈리는 이 이주를 두고 검토받지 않은 슬롭이라 불렀다. 감정적 표현이 눈에 걸리지만, 그가 지적한 논증 구조는 따로 볼 값이 있다. 이주의 정당화는 두 개의 주장을 동시에 사용한다. 첫째, 기존 Zig 코드에 메모리 관련 버그가 계속 남아 테스트로 다 잡히지 않았다. 둘째, 100만 줄의 새 Rust 코드는 그 테스트 스위트를 통과했으므로 신뢰할 수 있다. 켈리는 같은 테스트 스위트가 한쪽에서는 불충분하고 다른 쪽에서는 충분하다는 비대칭을 묻는다.
이 지적은 이주의 성과를 부정하지 않고도 성립한다. 테스트 통과는 명세된 행위의 보존을 뜻하고, 남아 있던 버그는 명세되지 않은 행위에서 나왔다. 그러므로 통과 사실은 "이전과 같은 방식으로 동작한다"의 증거이지 "이전에 없던 결함이 없다"의 증거가 아니다. 켈리는 성능 개선분의 상당 부분이 링크 시간 최적화 때문이며 그것은 Zig에서도 오래 지원되던 기능이라고도 주장했다. 이쪽은 양측 계측이 공개되지 않아 현재로선 판정할 수 없다.
강연에서 화자가 가장 새롭다고 강조한 것은 벤치마크가 아니라 프롬프트 인젝션 저항이다. 무대의 표현은 강하다. 정렬된 모델, 해석가능성 연구에서 나온 인젝션 탐지 프로브, 그리고 Claude Code의 자동 모드 분류기를 겹치면 인젝션을 더 이상 시연할 수 없다는 것이다. 같은 사람이 같은 주에 올린 글에서는 표현이 다르다. 우리 모델 중 가장 인젝션되기 어려운 모델이고, 방어를 겹치면 성공률이 0에 가까워진다는 것이다. 시스템 카드의 수치는 후자에 가깝다.
간접 프롬프트 인젝션 성공 확률 (15회 시도 내)
Gray Swan 등이 공동 구축한 IPI 벤치마크. 28개 시나리오, 중복 제거 후 고전이성 공격 1,130건. 추가 방어 미적용, 확장 사고 활성. 낮을수록 강함
단일 시도 기준으로는 Opus 5가 0.2퍼센트, GPT-5.6 Sol이 3.1퍼센트, Gemini 3.1 Pro가 14.2퍼센트다. GPT-5.6 Sol의 1회 성공률이 Opus 5의 15회 누적 성공률보다 높다.
브라우저 환경 평가는 별도다. 학습에 쓰이지 않은 129개 환경에서 각 10회, 총 1,290회의 간접 인젝션을 시도했고 자동 모드를 켠 Opus 5는 한 번도 뚫리지 않았다. 다만 같은 모델에서 추가 방어를 끄면 성공률은 3.70퍼센트였다. 컴퓨터 사용 환경에서는 확장 사고 조건에서 7.14퍼센트에서 0.54퍼센트로, 사고 없이는 6.21퍼센트에서 0.39퍼센트로 내려갔고, 프로브를 켜면 0.25퍼센트와 0.43퍼센트가 된다.
0퍼센트가 측정된 조건
1,290회 전부 실패라는 결과는 견고하지만, 무엇에 대해 견고한지가 좁다. 이 공격 집합은 고정되어 있다. IPI 벤치마크의 공격은 과거 공개 레드팀 대회에서 추출된 것이고, Opus 5를 상대로 실시간으로 재조정되지 않았다. 즉 이 수치는 정적 공격자 모델 아래의 값이며, 공격자가 대상 모델의 응답을 보고 다음 공격을 다시 쓰는 적응형 조건은 여기에 들어 있지 않다. 프롬프트 인젝션이 지금까지 해결되지 않은 이유가 정확히 그 적응성에 있었다.
또 하나. 15회 시도 내 2.0퍼센트는 사람이 하루에 몇 번 브라우저를 켜는 상황에서는 사실상 0이지만, 에이전트가 하루에 수천 개의 문서·메일·웹페이지를 읽는 상황에서는 0이 아니다. 시행 횟수가 곱해지는 자리에서는 확률의 자릿수가 아니라 노출 횟수가 사건 발생을 결정한다. 자동화 규모를 키우라는 강연의 다른 조언과 인젝션 위험이 사라졌다는 조언은 같은 방향으로 작동하지 않는다.
마지막으로 층위의 문제가 있다. 0에 가까운 값을 만든 세 계층 중 두 계층—탐지 프로브와 자동 모드 분류기—은 모델이 아니라 제품에 속한다. 브라우저 평가도 Claude Cowork 하네스 위에서 수행되었다. "모델이 똑똑해졌으니 하네스를 지우라"는 논지와 "0퍼센트는 하네스 방어를 켰을 때의 값"이라는 사실이 같은 강연 안에 나란히 있다. 강연 후반에 화자가 하네스에 남은 코드는 대부분 안전·권한·정적 분석·UI라고 말한 대목이 이 긴장을 스스로 해소한다. 지워도 되는 비계와 지우면 안 되는 비계가 나뉘어 있고, 후자는 지금 늘어나는 쪽이다.
ARC-AGI-3은 규칙도 목표도 알려주지 않는 상호작용 환경에 에이전트를 넣고, 시행착오로 무엇이 승리 조건인지 스스로 알아내게 한다. 채점은 같은 단계에서 두 번째로 잘한 사람이 쓴 행동 수와 비교하는 상대 효율 방식이다. 2026년 3월 공개 당시 사람은 환경을 100퍼센트 통과했고 최고 모델은 0.37퍼센트였다.
ARC-AGI-3 공개 데모 환경 점수
환경 25개. 인간 기준선 100퍼센트
Opus 5 값은 ARC Prize Foundation이 직접 실시해 7월 24일 공개한 결과다. 같은 모델은 ARC-AGI-1에서 97.5퍼센트, ARC-AGI-2에서 90.4퍼센트(Max)를 기록했다. 리더보드 항목은 모델과 추론 설정 단위이며 Claude Code급 하네스를 붙인 조건이 아니다.
한 개의 반증 보고
이 점수가 이례적인 이유는 벤치마크가 암기와 패턴 대조를 걸러내도록 설계되었다는 점이다. 그래서 30퍼센트는 새 규칙계를 상호작용으로 알아내는 능력의 증거로 읽힌다. 다만 같은 유형의 비공개 홀드아웃 환경에서 같은 전이가 관찰되지 않았다는 보고가 하나 나와 있다. 장르를 이미 아는 게임에서는 잘하지만 가장 새로운 게임에서는 고전했다는 것이다. 단일 보고이므로 확정적으로 다룰 수는 없고, 공개 데모 환경 25개라는 표본 크기를 감안할 표시로만 남는다.
여기서 강연의 논지와 숫자의 방향은 오히려 일치한다. 이 점수는 하네스 없이 모델과 추론 설정만으로 측정되었다. 하네스를 지우라는 조언의 근거로 쓰기에 적절한 종류의 숫자다. 다만 그 반대편 함의도 같이 따라온다. 이 숫자가 좋아졌다는 사실은 하네스가 필요 없어졌다가 아니라 하네스가 담당할 몫이 다른 곳으로 이동했다를 뜻한다. 앞에서 본 프롬프트 길이 계측과 인젝션 방어 층위가 그 이동의 좌표다.
강연에서 화자는 자신이 직접 돌린 실험을 소개한다. Electron으로 만든 Claude 데스크톱 앱을 Swift 네이티브로 다시 쓰는 작업이다. Slack에서 동작하는 Claude Tag 세션을 열고, GitHub에 macOS 러너를 붙이고, 빈 저장소 접근 권한을 주고, 요구를 세 줄로 줬다. Electron 앱을 가상 머신에서 실행해 화면을 캡처하고, Swift 버전과 픽셀 단위로 비교하고, 끝날 때까지 멈추지 말라는 것이다. 진행자가 얼마나 걸렸는지 묻자 답은 "아직 돌고 있다"였다. 2주가 조금 넘은 시점이었다.
이 사례는 성공 사례로 제시되지 않았다. 능력의 상한을 시험하는 진행 중 실험으로 제시되었고, 그렇게 읽는 편이 정확하다. 그런데 이 실험의 설계에는 앞의 Bun 사례와 결정적으로 다른 지점이 하나 있다.
종료 조건 없는 작업의 관측 문제
Bun 이주에는 판정자가 있었다. 단정문 100만 개 이상의 테스트 스위트와 컴파일러다. 통과하면 끝이고 실패하면 다음 작업이 정의된다. Swift 재작성 실험의 판정자는 픽셀 비교다. 픽셀 비교는 두 화면이 다르다는 것은 알려주지만 몇 개의 차이가 남았을 때 작업이 끝난 것인지는 알려주지 않는다. 강연자 본인이 픽셀 단위 UI 검증을 모델의 남은 약점 중 하나로 꼽았으니, 이 실험은 약한 판정자 위에서 무기한 지시로 돌아가고 있는 상태다.
그 결과 실행 시간이 능력 지표처럼 읽히게 된다. "2주 넘게 돌고 있다"는 문장은 두 가지로 해석할 수 있다. 모델이 2주간 목적을 유지할 수 있다는 것이거나, 판정자가 종료를 선언할 수 없어 멈출 이유가 없다는 것이다. 강연은 전자를 부각했고, 청중에게 1천 개 넘는 에이전트를 띄운 사람이 있는지 손을 들어 보라고 물었다. 이 물음은 규모를 능력의 대리 지표로 놓는데, 규모는 판정 장치가 있을 때만 성과로 환산된다.
Anthropic은 CLI·iOS·안드로이드·데스크톱 코드베이스 전체에 하루 20~30개의 루틴을 돌린다. 각각은 한 문장짜리 프롬프트다. 정적·동적 분석으로 죽은 코드를 찾아 매일 삭제 풀 리퀘스트를 올리는 루틴, 이미 100퍼센트 배포된 실험 플래그를 코드에서 제거하는 루틴, 커버리지가 빈 영역에 테스트를 쓰는 루틴, 반대로 오래된 모델이나 사람이 남긴 쓸모없는 테스트를 지우는 루틴, 그리고 코드베이스 곳곳에 중복 구현된 사실상 같은 추상을 찾아 하나로 합치는 루틴이 있다. 앱 유지보수를 완전 자동화하는 경로에 있다는 것이 화자의 표현이다.
목록을 통째로 놓고 보면 하나의 성질이 공통으로 관통한다. 전부 판정이 값싼 작업이다. 죽은 코드인지 여부는 도구가 답하고, 배포 완료된 플래그인지는 배포 시스템이 답하고, 테스트가 통과하는지는 테스트가 답하고, 두 추상이 같은지는 타입과 호출 지점이 답한다. 강연 후반에 화자가 "코딩은 해결되었다"고 말한 뒤 곧바로 유효 범위를 좁힌 것도 같은 선을 따른다. 깊은 시스템 코드, 분산 시스템, 픽셀 단위 UI 검증은 아직 아니라고 했다.
해결됐다는 말의 실제 경계선
그 세 예외는 난이도로 묶이지 않는다. 판정 비용으로 묶인다. 분산 시스템의 정합성 위반은 재현되지 않는 조건에서만 드러나므로 실패를 다음 작업으로 되돌려 받을 수 없다. 픽셀 검증은 차이를 세지만 허용 오차를 스스로 정하지 못한다. 깊은 시스템 코드는 명세되지 않은 불변식이 사람 머릿속에만 있다. 세 경우 모두 모델의 추론 한계가 아니라 판정자의 부재가 병목이다.
그러면 강연의 조언은 다르게 정리된다. 지우라는 것은 결과이고 원인은 아니다. 실제 순서는 자동 판정자를 먼저 세우고, 판정자가 잡아낼 실패는 지시문에서 지우고, 판정자가 잡을 수 없는 것만 지시로 남기는 것이다. 지시문을 먼저 지우고 판정자가 없는 상태로 규모를 키우면, 2주 넘게 돌지만 끝났는지 알 수 없는 작업이 남는다.
아래 예측은 현재 확인된 상태—프롬프트 실측 길이, 시스템 카드 수치, 공개된 이주 기록—에서만 근거를 가져왔다. 각 항목에 반증 조건을 붙인다.
1. 시스템 프롬프트 길이는 단조 감소하지 않고 세대마다 진동한다
Opus 4.7에서 4.8로 가며 15,225자에서 4,467자로 줄었고, Opus 5에서 7,694자로 다시 늘었다. 새 능력이 붙을 때마다 그 능력을 제품 맥락에 맞추는 지시가 다시 들어오는 구조라면 진동이 정상 상태다.
반증 조건 — 이후 두 세대 연속으로 실측 프롬프트 길이가 감소하고, 그 감소가 도구 설명·스킬 파일의 총량 증가로 상쇄되지 않는 것이 계측으로 확인되면 이 예측은 틀린다.
2. 인젝션 방어의 경쟁축이 고정 코퍼스 점수에서 적응형 공격자 조건으로 옮겨간다
현재 인용되는 0퍼센트와 2.0퍼센트는 모두 재조정되지 않은 공격 집합에 대한 값이다. 에이전트가 읽는 문서 수가 늘면 낮은 확률도 사건으로 실현되므로, 구매 측이 요구하는 지표가 달라질 유인이 생긴다.
반증 조건 — 24개월이 지나도 벤더 시스템 카드와 기업 조달 문서가 고정 코퍼스 기준 성공률만 인용하고, 적응형 레드팀 결과가 표준 항목으로 자리 잡지 않으면 이 예측은 틀린다.
3. 다음 대규모 언어 이주 사례의 비용 대부분은 판정자 구축에서 나온다
Bun은 단정문 100만 개 규모의 테스트 스위트를 이미 갖고 있었고, 이 조건이 11일이라는 숫자를 가능하게 했다. 테스트가 빈약한 50만 줄급 코드베이스에서는 이주 전에 판정자를 먼저 생성해야 하며, 그 단계가 전체 일정을 지배할 가능성이 높다.
반증 조건 — 커버리지가 낮은 50만 줄 이상 코드베이스의 언어 이주가 별도 판정자 구축 없이 2주 이내에 완료되고 6개월 이상 프로덕션에서 회귀 없이 유지된 사례가 공개되면 이 예측은 틀린다.
4. 하네스에 남는 코드는 안전·권한·정적 분석·오케스트레이션으로 수렴하되 총량은 줄지 않는다
지시문은 도구 정의와 스킬로 이전되고, 대신 동적 워크플로의 에이전트 대수(代數)와 승인·격리 계층이 커진다. 강연자 스스로 남은 하네스 코드의 성격을 그렇게 규정했다.
반증 조건 — 주요 에이전트 제품의 하네스 코드 규모가 두 세대에 걸쳐 실측으로 감소하고, 오케스트레이션이 모델 내부로 흡수되어 외부 계층이 사라지면 이 예측은 틀린다.
5. 판정자를 만들 수 없는 영역에서는 같은 속도 향상이 관측되지 않는다
Anthropic이 자동화한 루틴 20~30개는 모두 기계 판정이 가능한 작업이다. 사양이 사람의 판단에만 있는 업무—조직 정책, 설계 트레이드오프, 규제 해석—에서는 실패를 다음 작업으로 되돌릴 회로가 만들어지지 않는다.
반증 조건 — 자동 판정자가 없는 도메인에서 수십 배 규모의 병렬 에이전트가 사람 검토 없이 채택 가능한 산출물을 반복 생산한 사례가 복수 조직에서 보고되면 이 예측은 틀린다.
강연에서 가장 오래 쓰일 문장은 상위 1퍼센트 사용자가 되는 법을 물었을 때 나온 답이다. 링크드인 인플루언서 말을 듣지 말고 트위터를 읽지 말라는 것이었다. 청중은 웃었지만 이 답은 강연 전체와 정확히 같은 구조를 갖는다. 하나의 요령은 존재하지 않고, 과제를 던져 실패하는 자리를 관찰한 뒤 그 자리만 고치라는 것이다.
이 방법론에는 전제가 하나 숨어 있다. 실패하는 자리를 관찰할 수 있어야 한다는 것이다. 관찰이 값싼 문제에서는 강연의 조언이 그대로 작동하고, 실제로 Bun 이주와 매일 도는 루틴들이 그 증거다. 관찰이 비싼 문제에서는 같은 조언이 2주 넘게 돌지만 끝났는지 알 수 없는 작업을 만든다. 지금 지울 수 있게 된 것은 모델에게 무엇을 하라고 알려주는 문장들이고, 지울 수 없게 된 것은 모델이 제대로 했는지 알려주는 장치들이다. 80퍼센트가 사라진 자리에 무엇이 들어섰는지를 보면 이 교대는 이미 끝나 있다.