AI · 에이전트 · 조직 설계
소프트웨어를 만드는 일이 수십 배 빨라졌다면, 그다음에 막히는 곳은 어디인가. 앤드류 응(Andrew Ng)은 그 답이 코딩이 아니라 ‘무엇을 만들 것인가’를 정하는 일, 그리고 그 결정을 둘러싼 모든 후속 공정으로 옮겨갔다고 말한다.
2026년 5월, 샌프란시스코에서 열린 랭체인의 AI 에이전트 콘퍼런스 ‘Interrupt 2026’에서 앤드류 응이 랭체인 공동창업자 해리슨 체이스와 마주 앉았다. 응은 딥러닝닷에이아이(DeepLearning.AI) 창업자이자 AI 펀드(AI Fund) 운영자, 구글 브레인(Google Brain) 창립을 이끈 인물로, 한 해 전 같은 무대의 대담이 행사 영상 가운데 가장 많이 시청된 바 있다. 이번 대담은 ‘에이전트가 실제 현장에 들어오기 시작한 1년’을 결산하는 자리에 가까웠다.
대화는 단순한 기술 전망이 아니라 조직과 일의 구조가 어떻게 다시 짜이는가에 초점이 맞춰져 있었다. 아래는 대담의 논지를 주제별로 재구성하고, 등장한 개념을 비전공자도 따라올 수 있도록 풀어 정리한 것이다.
응은 지난 1년에 대해 두 가지를 먼저 짚었다. 하나는 과대평가됐다고 본 것, 다른 하나는 기대를 앞질렀다고 본 것이다.
과대평가 쪽에는 ‘일자리 종말(job apocalypse)’류의 비관론이 들어간다. 그는 이런 서사가 예상보다 더 많은 호응을 얻은 것을 아쉬워하며, 실제로 그런 일이 벌어지리라고는 보지 않는다고 선을 그었다. 반대로 기대를 앞지른 쪽이 바로 코딩 에이전트다. ‘AI는 몇 달마다 모든 게 바뀐다’는 흔한 과장이 다른 분야에는 잘 들어맞지 않지만, 코딩 에이전트만큼은 그 문장이 실제처럼 느껴진다는 것이다.
그 변화의 한 단면이 응 자신의 작업 습관이다. 반년 전만 해도 그는 대부분 클로드 코드(Claude Code)를 썼지만, 지금은 거기에 더해 오픈 코덱스(OpenAI Codex), 제미나이 CLI(Gemini CLI), 오픈코드(OpenCode)를 섞어 쓴다. 어떤 도구를 어떤 비중으로 쓰는지가 빠르게 바뀌고 있다는 뜻이다. 한 해 전이라면 자신이 휴대폰으로 이렇게까지 코딩하게 되리라고는 짐작도 못 했을 것이라고도 했다. 그리고 이런 에이전트 워크플로가 이제 기업 안으로 들어오기 시작한 점을, 그는 가장 긍정적인 신호로 꼽았다.
약 1년 전 응은 ‘제품관리 병목(product management bottleneck)’이라는 관찰을 글로 정리한 적이 있다. 만드는 일이 훨씬 빨라지면, ‘무엇을 만들지’를 정하고 고객 피드백을 모아 범위를 잡는 제품관리 작업이 새 병목이 된다는 이야기다. 지난 1년 사이 이 병목은 더 심해졌다고 그는 말한다. 다만 그것은 소프트웨어 제작이 그만큼 빨라졌다는, 좋은 의미의 악화다.
그런데 코드 작성이 10배, 100배 빨라지자 제품관리만 병목이 되는 게 아니었다. 사실상 그 외의 모든 공정이 차례로 병목이 됐다. 기능을 너무 많이 만들어내니 마케터들은 엔지니어가 대체 무엇을 만들었는지 따라잡느라 분주해졌다. 예전에는 어떤 제품을 만드는 데 석 달이 걸렸다면 법무 검토를 한 주 기다리는 것쯤은 괜찮았다. 그러나 이제 하루 만에 만든다면, 법무 승인을 한 주 기다리는 일이 곧 ‘법무 병목’이 된다. 디자인도 마찬가지다.
공장 컨베이어를 떠올려 보자. 한 공정이 느리면 그 앞에 부품이 쌓인다. 그 공정에 기계를 더 넣어 속도를 올리면, 이번에는 바로 다음 공정 앞에 부품이 쌓이기 시작한다.
코딩 에이전트는 ‘조립 공정’의 속도를 단숨에 끌어올린 기계와 같다. 덕분에 병목은 사라진 게 아니라, 기획·마케팅·법무·디자인이라는 다음 공정 앞으로 자리를 옮긴 것이다.
그래서 응은 소프트웨어 팀을 어떻게 짜야 하는지를 자주 고민한다고 했다. 정답을 안다고는 하지 않았지만, 그가 점점 더 자주 택하는 방식은 1~10명 규모의 작은 팀을 두는 것이다. 깊은 기술 역량을 가진 ‘고맥락(high-context) 제너럴리스트’들에게 넓은 가드레일을 쳐 주고, 그 안에서 마음껏 만들고 배포하게 한다. 마케팅 카피를 쓰는 것처럼 전통적으로 엔지니어링의 영역 밖이던 의사결정까지 이들이 끌고 가도록 한다.
예컨대 소프트웨어 엔지니어링, 제품관리, 약간의 약관(terms of service) 작성, 마케팅 카피, 디자인까지 다섯 가지 기능이 필요한 일을 두 사람으로 꾸린다면, 산술적으로 한 사람이 한 가지 역할 이상을 맡을 수밖에 없다. 응은 자신이 좋은 마케터는 아니라고 인정하면서도, AI의 도움을 받으면 ‘여전히 잘하진 못하지만 도움 없이 할 때보다는 덜 못한다’고 표현했다. 엔지니어가 약관 초안을 AI로 먼저 뽑은 뒤 변호사에게 넘겨 마무리하게 하는 식으로, 작은 팀이 훨씬 빠르게 움직일 수 있다는 것이다.
이런 사람들이 어떤 배경에서 오느냐는 질문에는, 자신과 가장 가까이 일하는 이들은 대체로 엔지니어링·기술 배경이 깊다고 답했다. 다만 출발점이 어디든 가능하다고 덧붙였다. 제품관리자가 코딩을 익혀 합류하기도 하고, 마케터가 코딩을 배우거나 운영 담당자가 제품을 만들기 시작하는 경우도 봤다는 것이다. 현재 이 역할을 가장 많이 해내는 집단이 엔지니어 출신일 뿐, 배경을 가리지 않고 누구나 시도해 보라고 권했다.
이 새 영역에 발을 들이려는 사람들에게 응이 권한 사고틀은 ‘빌딩 블록(building block)’이다. 오늘날 개발자 주변에는 검색 증강 생성(RAG, Retrieval-Augmented Generation)이나 에이전트 프레임워크, 평가(eval)·가드레일(guardrail) 같은 AI 블록뿐 아니라, 사용자 인터페이스 부품, 인증, 프런트엔드·백엔드, 데이터 저장소 같은 비(非)AI 블록까지 무수히 많은 부품이 쌓여 있다는 것이다. 이 블록들을 충분히 익혀 둔 개발자는 그것을 조합해 소프트웨어를 매우 빠르게 만들어낼 수 있다.
흰색 레고 한 종류만 있으면 만들 수 있는 게 빤하다. 그러나 검정·노랑·갈색·초록에 곡선 부품까지 섞이면, 만들 수 있는 형태는 블록 가짓수에 따라 ‘덧셈’이 아니라 ‘곱셈’으로 늘어난다.
응은 지금 우리가 손에 쥔 소프트웨어 부품들이 바로 그런 레고와 같다고 본다. 부품을 많이 알수록 조합의 경우의 수가 폭발적으로 커진다는 것이다.
여기에 코딩 에이전트가 이 블록들을 빠르게 ‘조립’해 준다. 다만 문제가 하나 있다. 부품이 너무 새것이라, 코딩 에이전트가 그 사용법을 모르는 경우가 잦다. 응이 든 예가 구글의 이미지 생성 모델 ‘나노 바나나(nano banana)’다. 이 모델은 여러 주요 모델의 지식 컷오프(knowledge cutoff) 이후에 공개됐기 때문에, 모델이 그 응용프로그래밍인터페이스(API) 호출법은커녕 존재 자체를 모르는 일이 벌어진다는 것이다.
이 공백을 메우려고 응이 동료 로이 프라사드(Roy Prasad)와 함께 매달려 온 프로젝트가 ‘컨텍스트 허브(Context Hub)’다. AI 에이전트가 최신 API·소프트웨어개발키트(SDK)·빌딩 블록 문서를 받아올 수 있게 해 주는, 말하자면 에이전트를 위한 스택오버플로(Stack Overflow)다. 에이전트가 문서에 피드백을 남겨 모두를 위해 문서를 개선하는 경로도 함께 둔다. 응은 자신도 문법을 외우기 번거로운 API가 많은데, 컨텍스트 허브로 최신 문서를 불러오게 하니 코딩 에이전트가 그런 호출을 정확히 대신해 준다며, 자신의 코딩 속도도 꽤 빨라졌다고 했다.
흥미롭게도 진행자 체이스는, 랭체인도 ‘컨텍스트 허브’라는 같은 이름의 기능을 내놓아 이름이 겹쳤다고 언급했다. 다만 둘은 성격이 다른 별개의 것이라고 덧붙였다.
무엇을 배워야 하는지부터 크게 달라졌다고 응은 본다. 개발자라면 코딩 에이전트와 빌딩 블록을 익혀야 하고, 제품관리 같은 범용 역량도 어느 정도 갖춰야 더 효과적으로 일할 수 있다. 딥러닝닷에이아이가 그 훈련을 상당 부분 제공하려 한다는 것이다.
다만 ‘무엇을 배우는가’와 별개로 ‘어떻게 전달하는가’는 아직 오래 기다려 온 변화가 채 도착하지 않았다고 진단했다. 그 방향을 실험하는 시도로 응은 최근 몇 주 전 미리보기로 공개한 사이트를 소개했다. 핵심 발상은 온라인 강의를 듣는 대신 대화를 나누는 것이다. 가상의 영상 통화에서 응의 AI가 컨텍스트 허브나 코딩 에이전트를 설명해 주되, 듣다가 언제든 끼어들어 질문할 수 있게 했다.
그가 특히 공들인 부분은 ‘동영상과 슬라이드를 자바스크립트(JavaScript)로 대체’하는 것이다. 미리 녹화된 화면 공유 영상이 아니라, 시청자가 그 화면 안으로 들어가 직접 프롬프트나 질의를 입력해 볼 수 있는 ‘상호작용형 영상’이다. 그는 이 기능이 이미 작동 중이라고 했다. 강의자가 화면을 ‘공유’하는 대신 자바스크립트 코드를 ‘공유’하는 셈이어서, 화면 속 대상이 박제된 영상이 아니라 실제로 돌아가는 코드라는 설명이다.
요리 영상을 본다고 하자. 보통은 셰프가 칼질하는 장면을 ‘구경’할 뿐이다. 응이 말하는 방식은, 그 영상 화면 안의 도마와 재료가 실제로 살아 있어서 시청자가 직접 칼을 잡아 보고, 궁금하면 셰프(의 AI)에게 곧장 되묻는 것에 가깝다.
그럼에도 응은 교육의 변화가 다소 과대평가됐다고 본다. 무언가 오고 있는 것은 분명하지만, 오늘날 온라인 강의보다 훨씬 나은 무언가가 있었으면 한다는 것이다. 그래도 10년 전 강의보다는 분명히 나아졌다고 했다. 이번 주에 새로 공개한 트랜스포머(Transformer) 강의처럼, 단순 동영상 중심이던 과거와 달리 지금은 훨씬 더 상호작용적인 시각화와 즐길 거리를 담는다는 것이다. 다만 그가 기다리는 더 큰 전환은 아직 도착하지 않았다.
이 대목에서 응은 자신이 세운 AI 자문기업 AI 어스파이어(AI Aspire, 공동 파트너 커스티 탄·Kirsty Tan, 컨설팅 기업 베인앤드컴퍼니와 제휴)에서 포춘 50·500급 대기업과 일하며 본 공통된 패턴을 꺼냈다. 거의 모든 기업이 ‘천 송이 꽃이 피게 하자’는 식의 바텀업(bottom-up) 혁신에 투자해 왔지만, 대체로 기대만큼 성과가 나지 않고 있다는 것이다. 그래서 경영진과 이사회는 ‘AI의 투자수익률(ROI)은 어디 있느냐’를 묻기 시작했다.
응은 바텀업 혁신을 계속해야 한다고 본다. 다만 그것이 흔히 ‘점(點)단위 해법(point solution)’에 그쳐, 자잘한 효율은 올리지만 AI가 약속한 더 넓은 변혁으로는 이어지지 못한다는 점을 짚었다. 그가 든 대출 심사 사례가 이 차이를 잘 보여 준다.
대출 실행 과정을 ① 상품 마케팅 ② 신청 접수 ③ 심사·승인 ④ 최종 실사 ⑤ 실행의 다섯 단계로 본다면, 많은 팀이 가운데의 ‘심사·승인’ 단계에 주목한다. 사람이 한 시간 들여 보던 신청서를 AI가 대신 검토하게 만드는 것이다. 이것은 분명 해야 할 일이고 좋은 일이다. 그러나 나머지 공정이 그대로라면, 이는 한 시간짜리 사람 작업을 자동화한 작은 효율 개선에 불과하다.
그래서 일부 은행은 발상을 바꿨다. 효율 개선에 머물지 말고 공정 전체를 다시 짜서, ‘10분 안에 승인되는 대출’ 상품을 내놓자는 것이다. 사람이 한 시간 짬을 낼 때까지 한 주를 기다리는 대신, 신청서를 곧장 AI에 보내 결정을 받는다. 다만 이렇게 하려면 더 넓은 시야로 공정 전체를 다시 설계할 사람이 필요하다. 마케팅과 데이터 인프라가 함께 움직여야 하고, 신청은 하루가 아니라 즉시 라우팅돼야 하며, AI가 1차 판단을 내린 뒤 최종 실사·실행 역량도 그에 맞춰 늘어나야 한다.
그래서 응은 바텀업이 아이디어를 풍부하게 길어 올리는 값진 방식이지만, 더 넓은 시야를 가진 누군가가 각 단계의 작동 방식을 바꾸는 톱다운(top-down) 움직임으로 보완돼야 한다고 본다. 많은 기업이 비용 절감을 이야기하지만, 그는 더 상상력 있는 쪽 — 즉 ‘성장’을 만드는 데 AI를 쓰자고 밀어붙인다. 절약에는 한계가 있지만, 성장에는 사실상 천장이 없기 때문이다.
성장 사례로 그는 다시 은행 사례와 더불어 고객센터(콜센터)를 들었다. 흔히 비용 절감 수단으로 여겨지지만, 고객 응대를 자동화하거나 보강하면 더 많은 고객을 더 빠르게 응대할 수 있고, 이는 더 만족스러운 경험과 성장으로 이어진다는 것이다. 드라이브스루 주문 음성 자동화 역시 비슷한 효과를 낸다고 봤다.
ROI를 어떻게 측정하느냐는 질문에 응은 “나도 알았으면 좋겠다”며 솔직하게 어려움을 인정했다. 기업이 워낙 제각각이라 ROI 측정에는 ‘만능 정답’이 없다는 것이다. 다만 그가 가장 흥미를 느끼는 프로젝트는 측정이 마땅하고 측정돼야 하는 것들이되, 일부는 ‘2% 성장에서 구현비 1%를 뺀 게 맞나’를 따질 필요조차 없이 사업을 바꾸는 게 명백한 경우라고 했다. 물론 상장사라면 그래도 측정은 해야 한다고 단서를 달았다.
여기서 응은 직관에 반하는 통찰을 하나 내놓았다. 점진적 개선이 변혁적 개선보다 오히려 더 어려울 수 있다는 것이다. 누군가에게 ‘내년에 실적을 2% 올리라’고 하면 ‘상사가 2% 더 열심히 일하라는 거구나’로 받아들이기 쉽다. 그러나 20%, 50% 성장을 찾으라고 하면 모두가 50% 더 열심히 일하는 식으로는 불가능하므로, 더 창의적인 해법을 짜낼 수밖에 없다.
‘조금 더 빨리 걷기’는 의지로 어찌어찌 되지만, ‘열 배 빨리 가기’는 걸음으로 풀 수 없다. 자전거나 자동차라는 다른 수단을 떠올려야 한다. 큰 목표는 노력의 양이 아니라 방법의 전환을 강제한다.
그러면서도 그는 무모하게 한 방에 ‘크게 거는(swing for the fences)’ 도박을 권하지 않았다. 한 금융기관은 300건이 넘는 아이디어를 스프레드시트로 보내 어디에 자본을 투입할지 골라 달라고 요청했는데, 그 분석이 정말 어렵더라는 것이다. 기술적으로 무엇이 가능한지, 사업적으로 무엇이 의미 있는 변화를 만들지를 함께 따져, 진짜 자원을 투입할 ‘한 줌의 베팅’으로 좁히는 작업에는 상당한 노력이 든다. 결국 그가 권하는 것은 한 번의 큰 도박이 아니라, 하나만 터져도 사업에 의미가 있을 사려 깊은 베팅의 포트폴리오다.
에이전트형 코딩의 장점이 바로 여기서 빛난다. 프로토타입을 만드는 비용이 급락한 덕에 끊임없이 실험할 수 있다는 것이다. 다만 10만 달러 예산으로 모든 걸 할 수는 없으니, 어느 시점에는 소수의 프로젝트에 의미 있는 자원을 몰아줘야 한다. 그 자원 배분 규모 때문에 결국 톱다운 움직임이 필요해진다고 그는 정리했다.
최근 기업 AI 도입에서 자주 거론되는 것이 전방배치 엔지니어(FDE, Forward Deployed Engineer)다. 모든 회사가 FDE를 두게 될까. 응은 실리콘밸리가 지금 FDE를 두고 들떠 있다는 점을 인정하면서도, 거품이 현실보다 다소 크다고 봤다. 미래에 대다수 기업은 사내 엔지니어를 훨씬 많이 두고, 그 곁에 소수의 FDE 팀을 ‘박아 넣는’ 형태가 되리라는 것이다.
그가 FDE를 가치 있게 보는 이유는 분명하다. 에이전트형 워크플로를 만드는 일은 어렵고, 사업을 이해하는 능력과 고객 대면 역량, 관측가능성(observability)과 평가(eval) 구축, 기술적으로 불가능한 요구를 고객과 조율하고 변화 관리를 돕는 일까지 요구하기 때문이다. 깊은 기술적 판단이 필요한 이 역할이 프로젝트를 크게 가속할 수 있다.
다만 응이 어렵다고 본 지점은 ‘벤더 중립적인’ FDE를 구하기 어렵다는 것이다. AI 분야의 가장 앞선 모델은 빠르게 바뀐다. 그는 1년 뒤 최고의 AI 모델이 무엇일지, 최고의 코딩 에이전트가 무엇일지 전혀 모르겠다고 했다. 이런 불확실성 속에서는 선택권(optionality)이 큰 가치를 갖는다.
그래서 그는 조언이 아니라 자기 사례임을 전제로, 20~30% 할인을 받는 대가로 3년 계약을 요구하는 제안이 들어와도 1년을 넘는 계약은 거의 맺지 않는다고 했다. 1년 뒤 가장 좋은 벤더와 일할 수 있는 선택권을 그만큼 중시하기 때문이다. 한 회사의 FDE를 다수 들여 모든 것을 특정 AI 모델에 묶어 두면, 1~2년 뒤의 선택권이 얼마나 줄어드는가 — 이것이 기업들이 씨름하는 질문이라고 짚었다.
3년 약정으로 통신요금을 묶으면 당장은 싸다. 그러나 1년 뒤 훨씬 좋은 요금제가 나와도 갈아탈 수 없다. 기술이 반년 단위로 뒤집히는 국면에서는, 당장의 할인보다 ‘언제든 갈아탈 수 있는 자유’가 더 비싸다는 게 응의 셈법이다.
그는 이런 맥락에서 랭스미스(LangSmith)를 여러 번 써 봤다며, 해리슨(체이스)이 쓰기 쉽게 잘 만들었다고 평했다. 이처럼 더 벤더 중립적인 도구가 장기적으로 선택권을 지키며 관측·유지하는 데 유용하다는 것이다. 벤더와는 잘 협력하되, 스스로의 선택권을 지키는 일도 그만큼 중요하다고 덧붙였다.
모델 영역에서 벤더 중립을 이야기하다 화제는 오픈소스·오픈 웨이트(open-weight) 모델로 옮겨갔다. 응은 오픈 웨이트 모델이 프런티어(frontier) 모델보다 ‘꾸준히 6~9개월쯤 뒤처져’ 온 점이 흥미롭다고 했다. 거리는 좁혀지지 않지만 일정하게 유지된다는 것이다. 그런데 프런티어 모델은 충분히 비싸기 때문에, 많은 용도에서 그의 팀은 오픈 웨이트 모델을 — 때로는 미세조정(fine-tuning)을 거쳐, 때로는 그대로 — 많이 쓴다고 했다.
이 대목에서 응은 우려를 드러냈다. 최근 두어 주 사이 백악관에서 ‘모델을 공개 전에 검사하겠다’는 신경 쓰이는 신호가 나왔다는 것이다. 그는 이를 상당히 걱정하며 행정부의 지인들과 이야기를 나누고 있다고 했다. 실제로 미국 정부는 프런티어 AI 모델의 사이버·국가안보 위험을 이유로 공개 전 검토를 강화하는 흐름을 보여 왔으며, 2026년 6월 초에는 연방정부가 신규 AI 모델을 공개 전 사전 검토할 수 있게 하는 행정명령이 서명됐다.
응은 미·중 경쟁이나 다른 명분을 내세운 ‘오픈소스·오픈 웨이트에 대한 전쟁’이 여전히 벌어지고 있다고 보면서, 우리 모두가 오픈소스·오픈 웨이트를 지켜낼 수 있다면 세상은 훨씬 풍요로워지고 각자의 선택권도 지킬 수 있다고 했다. 앞서 강조한 ‘선택권’이라는 주제가 모델 정책 차원에서 다시 등장한 셈이다.
대담의 마지막 큰 주제는 ‘데이터 전략’이었다. 에이전트를 만들기 전에 데이터를 제대로 정리해 두는 일이 왜 중요한가. 응은 대기업과 일하며 가장 흔히 마주치는 고통이 바로 데이터 아키텍처(data architecture)의 재설계라고 했다.
지난 10~20년간 기업들은 표·관계형 데이터·스프레드시트 같은 정형 데이터(structured data)를 정리하는 데 막대한 노력을 쏟았다. 그것은 분명 중요하다. 그러나 이제 AI는 텍스트·이미지·PDF·음성·영상 같은 비정형 데이터(unstructured data)를 처리할 수 있다. 따라서 이 비정형 데이터를 적시·적소에 에이전트에게 넘겨 가치를 만들도록 정리하는 일이, 과거 어느 때보다 중요해졌다.
정형 데이터가 라벨이 붙어 서가에 꽂힌 책이라면, 비정형 데이터는 20년간 아무도 들춰보지 않은 채 창고에 쌓인 상자 더미다. 예전에는 그 상자를 일일이 열어 볼 사람이 없어 사실상 없는 것이나 마찬가지였다. 그런데 이제 AI가 그 상자를 열어 읽을 수 있게 되면서, 묵혀 둔 더미가 갑자기 자산이 된다.
응은 비정형 데이터를 다루겠다는 벤더가 많아지고 있지만, 정작 만족할 만한 단일 해법은 아직 찾지 못했다고 했다. 그래서 자신의 팀(AI 펀드·AI 어스파이어) 내부에서 데이터를 다시 설계하는 실험을 여러 건 돌리고 있으며, 잘되면 더 이야기하겠다고 했다. 그는 과거 많은 기업이 데이터 정리에 큰 프로젝트를 벌였던 것처럼, 앞으로 몇 년간 데이터를 ‘AI/에이전트가 쓰기 좋게’ 재설계하는, 수천만~수억 달러 규모의 프로젝트가 많은 기업에서 일어날 것으로 내다봤다.
기존 데이터 아키텍처가 왜 에이전트에 맞지 않느냐는 질문에 응은 몇 가지를 꼽았다. 데이터가 여기저기 흩어진 파편화(fragmentation), 거버넌스의 부재, 누군가의 노트북에만 있는 일관성 없는 데이터, 그리고 결정적으로 권한 체계가 사람을 전제로 설계됐다는 점이다. 에이전트가 내 권한을 그대로 상속하는지, 거버넌스와 관측가능성을 어떻게 관리하는지가 새로운 숙제가 된다. 규제 준수를 이유로 수십 년 보관만 해 온 PDF 더미를 이제 AI가 들여다보게 하는 일이 매우 가치 있다는 점도 다시 강조했다.
데이터 아키텍처 전체와는 별개의 작은 교훈이라며, 응은 AI 코딩에서 자신이 몽고DB(MongoDB) 같은 NoSQL을 즐겨 쓴다고 했다. (마침 이 행사에는 몽고DB 최고경영자 CJ 데사이도 참석했다.) 빠르게 반복·프로토타이핑할 때 데이터베이스 스키마(schema)를 다시 설계해야 하는 번거로움이 매우 거슬리는데, 한 번쯤은 AI에 데이터베이스 마이그레이션을 시켰다가 데이터베이스 전체를 지워 버리는 ‘영리한’ 사고를 겪어 봤기 때문이다. 거의 일어나지 않지만 ‘절대 안 일어나는’ 것은 아니라는 점이 신경 쓰인다는 것이다.
그래서 그는 데이터를 일단 담아 두고 ‘쓸 때(읽을 때)’ 스키마를 정하는 NoSQL 방식이 반복 속도를 훨씬 높여 준다고 했다. 다만 NoSQL이 가장 큰 운영 부하까지 항상 감당하는 것은 아니어서, 초대형·엔터프라이즈급 워크로드에는 더 확장성 좋은 관계형 데이터베이스를 쓴다고 단서를 달았다. 그러면서도 요즘 NoSQL이 사람들이 생각하는 것보다 확장성이 좋아졌고, 무엇보다 빠른 반복을 가능케 한다고 평했다. 핵심은 ‘AI 에이전트가 코드를 빨리 짜는 이점을 다른 곳에서 깎아먹지 말자’는 것이다.
체이스는 이 대목을 두고, 코딩 에이전트가 ‘무엇을 하느냐’뿐 아니라 ‘그 위에 무엇을 쌓는 게 좋은가’라는 기술 선택까지 바꾸고 있다고 정리했다.
한 시간 가까운 대담을 관통하는 줄기는 의외로 단순하다. 코딩이라는 한 공정이 극적으로 빨라지면서, 가치를 결정짓는 무게중심이 ‘만드는 일’에서 ‘무엇을·어떻게 만들지 정하고 그것을 둘러싼 모든 공정을 다시 짜는 일’로 옮겨갔다는 것이다.
그 무게중심의 이동이 대담의 모든 주제를 하나로 꿴다. 병목이 코딩에서 기획·마케팅·법무·디자인으로 번진 것도, 소규모 고맥락 제너럴리스트 팀이 부상하는 것도, 부분 자동화가 아니라 워크플로 전체의 톱다운 재설계가 필요하다는 진단도, 비용 절감보다 성장을 겨냥하라는 권유도 모두 같은 이야기의 다른 얼굴이다. 한 단계를 빠르게 만드는 것만으로는 부족하고, 그 단계를 품은 ‘전체 그림’을 다시 그려야 비로소 변혁이 된다는 것이다.
여기에 두 개의 보조 축이 더해진다. 하나는 선택권(optionality)이다. 모델·도구·표준이 반년 단위로 뒤집히는 국면에서는, 당장의 할인이나 한 벤더로의 표준화보다 ‘언제든 갈아탈 수 있는 자유’가 더 큰 가치를 가진다. 장기 계약을 피하고 벤더 중립적 도구를 선호하며, 오픈 웨이트 모델과 그것을 지키는 정책 환경을 중시하는 응의 태도가 여기서 나온다.
다른 하나는 데이터다. 화려한 에이전트를 얹기 전에, 흩어지고 권한이 사람 기준으로 설계된 비정형 데이터를 ‘에이전트가 쓰기 좋게’ 다시 정리하는 일이 다음 몇 년의 큰 숙제가 된다. 응의 표현을 빌리면, 과거 정형 데이터 정리에 쏟았던 노력만큼의 대규모 재설계가 비정형 데이터 영역에서 반복될 차례다.
기술의 ‘방법(how)’이 빠르게 풀리는 시대에, 경쟁의 축은 ‘무엇을(what)’과 ‘왜(why)’로, 그리고 그 결정을 실행으로 옮기는 조직 설계와 데이터 토대로 이동하고 있다 — 이것이 이날 대담이 남긴 가장 또렷한 메시지다.
원 출처 — 앤드류 응(Andrew Ng) × 해리슨 체이스(Harrison Chase) 대담, 랭체인(LangChain) ‘Interrupt 2026’ 콘퍼런스(2026년 5월 13~14일, 샌프란시스코 더 미드웨이). 본문은 영상의 논지를 자체적으로 요약·재구성하고, 행사·인물·정책 관련 사실은 공개 자료(랭체인 발표, 베인앤드컴퍼니·AI 어스파이어 공식 자료, 백악관 AI 모델 사전검토 행정명령 보도 등)로 교차 확인했다.
영상: youtu.be/D5afBc3-3mY