세션을 갈아타며 일하기 — AI 컨텍스트 핸드오프

긴 작업을 인공지능(AI)과 함께 하다 보면, 어느 순간 모델이 앞서 정한 내용을 잊거나 엉뚱한 방향으로 흐트러지는 일이 생긴다. 대화가 길어지며 컨텍스트가 무거워졌기 때문이다.

이때 흔한 기대는 "창이 더 컸으면 됐을 텐데"이다. 그러나 컨텍스트 창을 키운다고 이 문제가 사라지지는 않는다. 창의 크기와 무관하게, 한 자리에 정보가 많이 쌓일수록 모델이 핵심을 정확히 짚는 능력은 오히려 떨어지기 때문이다. 그래서 필요한 것은 더 큰 창이 아니라, 무거워진 맥락을 적절히 비우는 방법이다. 이 글은 그 실전 흐름을 정리한 것이다.

핵심 아이디어: 핸드오프

방법은 단순하다. 하나의 대화를 끝까지 끌고 가지 않는다. 컨텍스트가 일정 수준에 다다르면, 지금까지의 작업에서 정말 필요한 것만 짧게 추려 다음 대화로 넘기고, 무거워진 대화는 비운다. 이렇게 핵심만 다음 세션으로 넘겨 작업을 잇는 것을 '핸드오프(handoff)'라고 부른다.

흐름 한눈에 보기

핸드오프는 한 번 하고 끝나는 일이 아니다. 작업이 길면 같은 과정을 여러 번 반복하게 된다.

언제 넘길까 — 미리 선을 정해 둔다

넘길 시점을 그때그때 감으로 판단하면 늦기 쉽다. 그래서 미리 기준선을 정해 두고, 그 선에 닿으면 알림이 오게 한다. 예컨대 토큰 사용량을 기준으로 1단계 20만, 2단계 40만, 3단계 50만처럼 단계별 경고를 두는 식이다. 1단계는 "슬슬 정리할 때가 온다"는 예고, 마지막 단계는 "지금 넘겨야 한다"는 신호로 쓰면 된다. 숫자 자체는 작업 성격과 쓰는 도구에 맞춰 조정하면 되고, 중요한 것은 닥쳐서 허둥대지 않도록 선을 먼저 그어 두는 것이다.

무엇을 넘길까 — 메모는 짧을수록 좋다

핸드오프 메모의 목적은 다음 세션을 '가볍게' 시작하는 것이다. 그러니 그동안 오간 내용을 그대로 복사해 넘기면 안 된다. 그러면 무거운 맥락을 그대로 들고 가는 셈이 되어, 핸드오프를 한 의미가 사라진다. 남길 것과 버릴 것을 분명히 가른다.

요령은 '결과와 방향'은 남기고 '과정'은 버리는 것이다. 무엇을 하려는지, 무엇이 이미 정해졌는지, 지금 어디까지 왔고 다음에 무엇을 할지, 지켜야 할 제약은 무엇이고 핵심 산출물이 어디에 있는지 — 이 정도면 다음 세션이 일을 이어받기에 충분하다. 반대로 거기까지 오느라 길게 오간 탐색이나 폐기한 시도, 원문 전체는 넘기지 않아도 된다. 이미 결론에 반영돼 있기 때문이다.

반자동화 — 보조 역할에 맡기기

이 과정을 매번 손으로 챙기면 번거롭다. 그래서 코딩 도구를 쓴다면, 이 일을 거드는 보조 역할(서브에이전트)을 하나 두는 방법이 있다. 토큰 사용량을 대신 지켜보다가 정해 둔 단계에서 알려 주고, 핸드오프 메모를 만들어 저장하는 일을 돕고, 세션을 마무리하고 새 세션에서 그 메모로 다시 시작하도록 거드는 식이다. 사람은 '무엇을 남길지'만 판단하면 되고, 지켜보고 챙기는 반복 작업은 보조 역할이 맡는다.

코딩 도구가 아니어도 된다

핸드오프는 특별한 도구가 있어야만 가능한 것이 아니다. 일반 챗봇에서도 같은 습관을 쓸 수 있다. 대화가 길어졌다 싶으면 "지금까지의 핵심만 짧게 요약해 줘"라고 청한 뒤, 그 요약을 새 대화의 첫머리에 붙여 넣고 다시 시작하면 된다. 도구가 거들어 주면 편할 뿐, 원리는 누구나 바로 적용할 수 있다.

정리

긴 작업에서 결과가 흐트러질 때, 해법은 창을 더 키우는 쪽이 아니라 맥락을 가볍게 유지하는 쪽에 있다. 한 세션을 끝까지 끌기보다, 정해 둔 선에서 핵심만 추려 다음 세션으로 넘기고 다시 시작한다. 이 단순한 반복이 모델의 '머리'를 매번 맑은 상태로 되돌려 준다.