손으로 쓰던 글을 워드프로세서로 쓰고 다시 인공지능으로 쓰게 되면서, 만드는 사람과 만들어진 것 사이에 층이 쌓였다. 그 층이 늘어난 것 자체는 손실이 아니다. 문제는 산출물의 양이 사람이 그것을 읽어 낼 속도를 앞질렀을 때 시작된다. 그 지점부터 결과를 남김없이 확인했다는 전제 위에 세워진 책임 개념은 성립하지 않는다.
망치질을 하는 사람은 손끝으로 쇠의 저항을 느낀다. 못이 제대로 박혔는지는 눈으로 확인하기 전에 팔로 먼저 안다. 이 감각은 망치라는 도구가 만들어 준 것이면서 동시에 도구를 거치지 않은 것처럼 경험된다. 도구가 몸의 연장으로 흡수되었기 때문이다.
글쓰기도 오래 그랬다. 펜으로 종이에 쓸 때 문장은 손의 속도로 나오고, 쓰는 사람은 자기가 무엇을 썼는지 쓰는 동시에 안다. 워드프로세서로 옮겨 오면 사정이 달라진다. 지우고 옮기고 복사하는 일이 쉬워지면서 글의 구조를 나중에 뒤집을 수 있게 되고, 그 대신 손의 리듬과 문장의 리듬이 어긋난다. 인공지능으로 글을 쓰면 한 단계가 더 붙는다. 의도를 말로 건네면 초안이 돌아오고, 사람이 하는 일은 돌아온 것을 읽고 고르는 일로 바뀐다.
운송 수단도 같은 계단을 밟았다. 걸어가는 사람은 노면의 기울기와 흙의 습기까지 발로 읽는다. 말을 타면 시야가 높아지고 속도가 오르지만 동물의 호흡이 그대로 전달된다. 자동차는 사람을 금속과 유리로 감싸고, 자율주행차는 조작 자체를 가져간다. 각 단계마다 사람과 길 사이에 무언가가 하나씩 끼어들었다.
여기서 통용되는 결론은 이렇다. 도구가 발달할수록 사람은 생산물에서 멀어지고, 매개하는 층이 쌓일수록 직접 만지는 감각을 잃는다. 부분적으로는 맞는 진단이다. 그러나 이대로 두면 반례에 곧바로 걸린다.
현미경을 생각해 보자. 렌즈 두 장이 눈과 대상 사이에 끼어들었고 그 사이의 물리적 층은 분명히 늘어났다. 그런데 현미경을 든 사람은 맨눈으로 보던 것보다 대상에 더 가까워졌다. 세균은 육안에 잡히지 않는다. 매개가 늘어난 만큼 접근이 줄었다는 명제가 참이라면 미생물학은 성립할 수 없었다.
이 차이를 정리한 사람은 미국의 기술철학자 돈 아이디(Don Ihde)다. 그는 1990년 저작 『기술과 생활세계』(Technology and the Lifeworld: From Garden to Earth, Indiana University Press)에서 사람과 도구와 세계가 맺는 관계를 몇 갈래로 갈랐다. 여기서 필요한 것은 그중 세 갈래다.
첫째는 체현 관계다. 안경, 현미경, 지팡이처럼 도구가 몸에 흡수되어 사람이 도구를 통해 세계를 지각하는 경우다. 이때 주의가 향하는 곳은 도구가 아니라 세계다. 안경을 쓴 사람은 안경을 보지 않고 안경으로 본다. 아이디는 도구가 고장 났을 때에야 그것이 하나의 사물로 튀어나온다고 지적한다.
둘째는 해석 관계다. 지도, 계기판, 온도계처럼 도구가 세계의 상태를 기호로 바꿔 내놓고 사람은 그것을 읽는 경우다. 조종사는 고도를 몸으로 느끼지 않고 고도계의 숫자를 판독한다. 세계로 가는 길이 판독을 거치므로, 판독이 틀리면 세계에 대한 판단도 함께 틀어진다.
셋째는 타자 관계다. 도구가 세계로 가는 통로가 아니라 그 자체로 상대처럼 마주 서는 경우다. 아이디는 이 관계에서 도구가 타자 그 자체는 아니면서 타자처럼 다루어지는 준(準)타자가 된다고 보았다. 대화하듯 지시를 주고 답을 받는 오늘의 인공지능 도구는 이 자리에 가장 가깝다.
현미경이 접근을 늘린 것은 층이 적었기 때문이 아니라 그 층이 체현되었기 때문이다. 계기판은 층이 하나뿐이어도 세계를 판독의 대상으로 바꾼다. 그러므로 도구의 확장을 거리의 증가로 곧장 번역하면 안 된다. 물어야 하는 것은 층의 개수가 아니라, 그 층이 몸에 흡수되는가 판독을 요구하는가, 그리고 판독해야 할 양이 얼마인가다.
이렇게 놓으면 걷기에서 자율주행으로 가는 계단의 성격도 달리 보인다. 자동차의 계기판은 해석 관계를, 자율주행 시스템은 타자 관계를 만든다. 문제는 유리창이 사람과 길을 갈라놓았다는 데 있지 않다. 사람이 판독해야 할 것이 노면에서 시스템의 상태로 바뀌었고, 시스템의 상태는 노면보다 읽기 어렵다는 데 있다.
판독을 신뢰할 수 있는가라는 물음은 감각 자체로 되돌아간다. 붉게 달군 칼을 망치로 내리친 사람의 손에 전해지는 충격은 믿을 만한가. 직접 겪은 감각이니 의심할 이유가 없어 보인다. 그러나 그 사람의 팔에 본인도 모르는 감각신경 이상이 있었다면 어떻게 되는가. 느낌이 있었다는 사실은 여전히 참이지만, 그 느낌이 쇠의 상태를 알려 주었다는 보증은 사라진다.
그러면 팔에 충격 센서를 달아 수치로 확인하면 될까. 센서도 고장 날 수 있고, 고장 났다는 사실을 사람이 모를 수 있다. 감각을 의심해 센서를 붙였는데 센서를 의심할 근거가 다시 필요해진다. 도구를 백 개 붙여도 이 회로는 닫히지 않는다.
이 지점에서 자주 동원되는 낱말이 실체와 실존이다. 감각과 센서 수치를 실존이라 부르고 그 배후를 실체라 부르는 정리는 매끄럽게 들리지만 어휘가 어긋나 있다. 실존(Existenz)은 선택하고 책임지며 자기 존재를 문제 삼는 주체의 존재 방식을 가리키는 말이다. 팔의 감각이나 센서의 출력값은 주체의 존재 방식이 아니라 인식에 주어진 자료다. 그것을 실존이라 부르면 개념의 범주가 뒤바뀐다.
여기 필요한 구분은 다른 데서 나왔다. 임마누엘 칸트는 『순수이성비판』 재판(1787) 서문에서 이론적 인식이 미치는 범위를 못 박았다.
…wenn nicht Kritik uns zuvor von unserer unvermeidlichen Unwissenheit in Ansehung der Dinge an sich selbst belehrt, und alles, was wir theoretisch erkennen können, auf bloße Erscheinungen eingeschränkt hätte.
…비판이 물자체에 관한 우리의 피할 수 없는 무지를 미리 가르쳐 주고, 우리가 이론적으로 인식할 수 있는 것을 한낱 현상에 제한하지 않았더라면.
칸트, 『순수이성비판』 재판 서문(1787)
칸트의 구분은 현상(Erscheinung)과 물자체(Ding an sich selbst)다. 우리에게 주어지는 것은 언제나 우리의 인식 형식을 거친 현상이고, 그 배후의 것 자체는 이론적 인식의 범위 밖에 있다. 팔의 감각과 센서의 수치는 둘 다 현상 쪽에 있다. 하나는 신경을 거친 현상이고 다른 하나는 반도체를 거친 현상이다. 어느 쪽도 쇠의 온도 그 자체는 아니다.
그렇다면 확실한 것은 무엇도 남지 않는가. 데카르트가 붙잡은 최소한이 있다. 다만 널리 인용되는 문구의 출처는 통념과 다르다. "나는 생각한다, 그러므로 나는 존재한다"는 1637년 프랑스어 『방법서설』 4부의 je pense, donc je suis에서 나왔고, 라틴어 ego cogito, ergo sum은 1644년 『철학의 원리』 1부 7항에 실렸다. 1641년 『제일철학에 관한 성찰』 제2성찰의 문장은 그것과 다르다.
Ego sum, ego existo, quoties a me profertur, vel mente concipitur, necessario esse verum.
"나는 있다, 나는 존재한다"는, 내가 그것을 발언할 때마다 또는 마음속으로 생각할 때마다 필연적으로 참이다.
데카르트, 『제일철학에 관한 성찰』(1641) 제2성찰
여기서 보증되는 것은 발언하거나 생각하는 그 순간에 사유하는 자가 있다는 것뿐이다. 세계가 어떠한지, 그 사람의 팔이 정상인지, 센서가 작동하는지는 이 문장에서 한 걸음도 따라 나오지 않는다. 데카르트가 확보한 것은 인식의 출발점이지 인식의 내용이 아니다.
그러므로 감각과 계측을 놓고 무엇이 실체인지 다투는 것은 잘못 세운 물음이다. 확실성을 요구하면 어떤 도구도 통과하지 못하고, 요구하지 않으면 모든 도구가 통과한다. 실제로 쓸 만한 물음은 남은 하나다. 이 도구의 출력을 어떤 조건에서 어느 정도까지 신뢰하기로 하고, 그 신뢰가 틀렸을 때 누가 무엇을 책임지는가.
이 물음은 새 물음이 아니다. 영국의 인지심리학자 리산 베인브리지(Lisanne Bainbridge)는 1983년 국제자동제어연맹(IFAC) 학술지 Automatica 19권 6호에 실린 논문 「자동화의 역설」(Ironies of Automation, 775~779쪽)에서 산업 공정의 자동화가 사람 문제를 없애기보다 키운다고 지적했다.
그 논증의 뼈대는 이렇다. 자동화는 자동화할 수 있는 일을 가져가고 자동화할 수 없는 일을 사람에게 남긴다. 남는 일은 감시와 비상 개입이다. 그런데 감시는 지루하고 사람의 주의는 오래 버티지 못한다. 게다가 개입이 필요한 순간은 공정이 이미 비정상으로 흐른 순간이므로 평소보다 더 높은 숙련이 요구된다. 반면 평소에 직접 조작하지 않으므로 그 숙련은 녹슨다. 자동화 이후 조작자에게 필요한 훈련은 줄어드는 것이 아니라 늘어나야 한다는 것이 베인브리지의 결론이었다.
베인브리지가 다룬 대상은 화학 공정과 항공기 조종석이었다. 그 구조는 인공지능 도구를 쓰는 지식노동에 거의 그대로 옮겨 붙는다. 초안 작성과 코드 생성은 기계가 가져가고, 사람에게는 생성물을 읽고 판정하는 일이 남는다. 그 판정은 직접 쓰는 일보다 쉽지 않다. 자기가 쓴 문장의 논리적 결함은 쓰는 동안 감지되지만, 남이 써 온 매끄러운 문장의 결함은 따로 힘을 들여 찾아야 한다.
실측이 이를 뒷받침한다. 비영리 평가기관 METR(Model Evaluation and Threat Research)은 2025년 7월 무작위 대조 시험 결과를 공개했다(arXiv:2507.09089). 인공지능 사용 경험이 있는 숙련 오픈소스 개발자 16명이 평균 5년간 다뤄 온 자신의 저장소에서 246개 과제를 수행하되, 과제마다 인공지능 도구 사용 허용 여부를 무작위로 배정했다. 도구는 주로 커서 프로(Cursor Pro)와 클로드 3.5·3.7 소네트였고 시험 기간은 2025년 2월부터 6월까지였다. 개발자들은 사전에 24퍼센트 단축을 예상했고 수행 후에도 20퍼센트 단축되었다고 답했다. 실제 측정값은 19퍼센트 증가였다. 지체의 상당 부분은 생성된 결과를 검토하고 기존 코드에 통합하는 데 든 시간이었다.
이 결과의 사정거리는 넓지 않다. 표본은 16명이고 성숙한 저장소라는 특정 조건이며, METR 자신도 2026년 2월에 후속 데이터를 내면서 이 결과를 당시 도구에 관한 기록으로 다루었다. 후속 시험에서는 속도 향상의 증거가 일부 나타났지만 참여자 선택 효과 때문에 중심 추정값을 신뢰하기 어렵다고 밝혔다. 그러므로 이 시험을 인공지능이 개발자를 느리게 만든다는 일반 명제의 근거로 쓸 수는 없다. 남는 것은 다른 대목이다. 사람은 자기가 얼마나 빨라졌는지를 방향까지 틀리게 판단했고, 그 오판이 생긴 자리가 검토 부담이었다.
여기까지는 개인의 작업 속도 문제다. 파열이 일어나는 곳은 조직이 도구의 성능을 이유로 산출량을 올려 요구하는 자리다. 인공지능을 도입하는 명분은 열 사람이 하던 일을 한 사람에게 맡기는 데 있다. 그런데 사람의 검토 능력은 열 배가 되지 않았다. 그러면 늘어난 산출물 가운데 검토되지 않은 부분이 남는다. 이것이 산술적으로 피할 수 없는 결과라는 점이 중요하다.
널리 반복되는 주장이 하나 있다. 인공지능 시대에 병목은 생산이 아니라 인간의 검증이라는 것이다. 이 주장은 위로가 되지만 스스로를 무너뜨린다. 검증이 병목이라면 검증할 수 있는 만큼만 생산해야 하고, 그러면 도구를 도입한 경제적 이유가 사라진다. 반대로 생산량을 도구의 속도에 맞추면 검증은 병목으로 남지 못하고 생략된다. 두 가지를 동시에 주장할 수는 없다.
이 산술이 실제로 어떻게 작동하는지를 보여 준 사례가 있다. 데이터 전송 도구 curl의 개발자 다니엘 스텐베리(Daniel Stenberg)는 2025년 7월 14일 자신의 블로그에 「천 개의 슬롭으로 인한 죽음」(Death by a thousand slops)이라는 글을 올렸다. curl 프로젝트는 2019년 4월부터 해커원(HackerOne) 플랫폼을 통해 취약점 신고에 포상금을 지급하는 제도를 운영해 왔다. 스텐베리의 집계에 따르면 2025년에 들어온 신고의 약 20퍼센트가 인공지능으로 생성한 무가치한 문서였고, 주당 약 2건이 접수되었으며, 7월 초 기준으로 그해 신고 가운데 실제 취약점으로 확인된 것은 약 5퍼센트였다.
2026년 1월 26일 글에서 스텐베리는 이 제도를 1월 31일자로 종료한다고 알렸다. 제도가 실패했기 때문은 아니었다. 2019년 4월부터 2026년 1월까지 확인된 취약점 87건에 10만 달러가 넘는 포상금이 지급되었다. 종료 이유는 판정 부담이었다. 신고서를 그럴듯하게 작성하는 데 드는 비용은 사라졌는데 그것이 진짜인지 확인하는 비용은 조금도 줄지 않았기 때문이다.
명백한 쓰레기 신고는 1분 안에 닫을 수 있다. 판정 비용을 끌어올리는 것은 함수 이름과 취약점 분류 번호까지 그럴듯하게 갖춘 채 확신에 차서 틀린 문서다. 그런 문서 하나를 반박하려면 사람이 실제 코드를 읽어야 한다. 생성 쪽에서 사라진 비용이 판정 쪽으로 옮겨 갔을 뿐 총량은 줄지 않았고, 옮겨 간 곳에는 소수의 유지관리자만 있었다.
이야기의 뒷부분이 논지를 더 분명히 한다. 스텐베리는 2026년 2월 25일 글에서 신고 접수처를 깃허브로 옮긴 결정이 잘못이었다고 밝히고 3월 1일부터 해커원으로 돌아갔다. 포상금은 복구하지 않았다. 모델의 품질이 올라가면서 조작된 신고는 줄었지만 신고의 양은 줄지 않았다. 즉 문제의 원인은 모델이 틀린다는 데 있지 않았다. 원인은 생성의 문턱이 사라졌는데 판정의 문턱은 그대로 남았다는 비대칭 자체였다. 모델이 좋아지면 이 비대칭은 완화되는 대신 옮겨 간다. 확인해야 할 것이 거짓 여부에서 중요도 판정으로 바뀌고, 후자가 더 어렵다.
산출물의 일부가 검토되지 않은 채 세상에 나갔고 그중 하나에서 사고가 났다고 하자. 책임은 누구에게 있는가. 도구가 자신에게 문제가 없다고 보고했더라도 결과를 사회에 내놓은 것은 사람이므로 책임이 사람에게 남는다는 답이 통용된다. 이 답의 앞부분은 옳고 뒷부분은 불완전하다. 확인할 수단이 없는 사람에게 결과의 무결성을 묻는 구조가 실제로 어떻게 작동하는지를 따로 보아야 한다.
문화인류학자 매들린 클레어 엘리시(Madeleine Clare Elish)는 2019년 학술지 Engaging Science, Technology, and Society 5권(40~60쪽)에 실린 논문에서 이 구조에 도덕적 완충 구역(moral crumple zone)이라는 이름을 붙였다. 자동차의 완충 구역은 충돌의 힘을 흡수해 탑승자를 보호하도록 설계된 부분이다. 고도로 자동화된 시스템에서는 그 자리에 사람이 놓인다. 시스템 전체가 실패했을 때 법적·도덕적 책임의 충격을 흡수하는 부품이 된다는 것이다. 엘리시는 여러 항공·자동차 사고와 그 보도를 분석해, 행위 능력이 시스템 전체에 분산되어 있는데도 책임은 기계에 가장 가까이 있던 사람 한 명에게 집중되는 경향을 보였다. 완충 구역이 탑승자를 보호하는 것과 달리, 도덕적 완충 구역이 보호하는 것은 기술 시스템의 정당성이다.
이 개념은 사례 하나로 선명해진다. 2018년 3월 18일 밤 미국 애리조나주 템피에서 우버의 자율주행 시험 차량이 자전거를 끌고 도로를 건너던 일레인 허츠버그(Elaine Herzberg)를 치어 숨지게 했다. 미국 교통안전위원회(NTSB)는 2019년 11월 조사 결과를 발표하면서, 사고의 유력한 원인을 차량 운전석에 있던 안전 담당자가 개인 휴대전화에 시각적 주의를 빼앗겨 주행 환경과 자동주행 시스템을 감시하지 못한 데 있다고 판단했다. 동시에 위원회는 우버 쪽 요인도 지적했다. 소프트웨어가 보행자를 보행자로 식별하지 못했고, 자동 긴급제동 기능이 비활성화되어 있었으며, 조작자의 자동화 안일(automation complacency)에 대한 대비가 없었다.
결과는 갈렸다. 우버 법인에는 형사 책임이 인정되지 않았다. 안전 담당자 라파엘라 바스케스(Rafaela Vasquez)는 2020년 9월 과실치사로 기소되었고, 2023년 7월 위험행위(endangerment) 혐의를 인정하는 형량 합의로 보호관찰 3년을 선고받았다. 시스템 설계 결정과 긴급제동 비활성화는 조사 보고서에 남았지만 법적 책임은 좌석에 앉아 있던 한 사람에게 귀결되었다.
여기서 끌어낼 것은 그 사람이 결백했다는 주장이 아니다. 감시를 하지 않은 것은 사실이다. 짚어야 할 것은 그 구조가 사람에게 요구한 일의 성격이다. 보행자를 끝까지 보행자로 분류하지 못한 시스템 옆에서, 긴급제동이 꺼진 채로, 아무 일도 일어나지 않는 시간을 몇 시간이고 응시하다가 몇 초 안에 개입하는 일이었다. 베인브리지가 1983년에 지적한 그 일이다. 사람이 해낼 수 없다고 이미 알려진 일을 맡기고 실패하면 책임을 묻는 구조는 책임 배분이 아니라 책임 전가에 가깝다.
여기서 절망이 나온다. 다 볼 수 없는데 책임은 져야 하니 출구가 없다는 것이다. 그러나 전수 확인의 불가능성은 인공지능이 만든 새 조건이 아니다. 여러 분야가 이미 오래전에 그 사실을 전제로 제도를 다시 짰다.
소프트웨어에서 이 사실은 1969년에 공식화되었다. 네덜란드 컴퓨터과학자 에츠허르 데이크스트라(Edsger Dijkstra)는 그해 10월 이탈리아 로마에서 열린 북대서양조약기구(NATO) 과학위원회 후원 학술회의에서, 프로그램 시험은 결함이 있음을 보여 줄 수는 있어도 결함이 없음을 보여 줄 수는 없다고 말했다. 이 발언은 이듬해 4월 존 벅스턴과 브라이언 랜델이 엮은 회의 보고서 『소프트웨어 공학 기법』 16쪽에 실렸고, 데이크스트라는 1970년 자신의 원고 「구조적 프로그래밍에 관한 노트」(EWD249) 3절 '기계의 신뢰성에 관하여'에서 같은 논지를 정식화했다. 시험을 통과한 프로그램에 결함이 없다는 결론은 논리적으로 도출되지 않는다. 시험은 표본이기 때문이다.
제조업은 그보다 앞섰다. 벨연구소의 해럴드 도지(Harold F. Dodge)와 해리 로미그(Harry G. Romig)는 1929년 10월 Bell System Technical Journal 8권 4호(613~631쪽)에 「표본검사의 한 방법」을 발표했다. 전량 검사가 경제적으로 불가능한 상황에서 확률론으로 표본 크기와 합격 판정 기준을 정하고, 소비자가 감수하게 되는 불량 수준을 미리 명시하는 방법이었다. 이 방법은 불량이 통과할 가능성을 없애지 않았다. 그 가능성을 계산해 문서에 적었다.
회계감사도 같은 길을 갔다. 국제감사기준(ISA) 530호 '표본감사'는 표본감사를 모집단의 100퍼센트 미만 항목에 감사절차를 적용해 모집단 전체에 관한 결론의 합리적 근거를 얻는 것으로 정의한다. 나아가 표본위험(sampling risk), 곧 표본에 근거한 감사인의 결론이 전수 검사를 했을 때의 결론과 다를 위험을 별도 개념으로 정의하고, 허용 왜곡표시 수준과 함께 감사인이 관리해야 할 항목으로 규정한다. 감사인은 재무제표에 오류가 없다고 보증하지 않는다. 정해진 절차를 정해진 수준으로 수행했다고 보증한다.
표본검사, 표본감사, 소프트웨어 시험은 모두 결과의 무결성을 보증하는 일을 포기했다. 대신 세 가지를 문서화했다. 무엇을 어느 비율로 확인했는가, 확인하지 못한 부분에서 문제가 통과할 확률이 얼마인가, 그 확률을 누가 감수하기로 합의했는가. 책임의 대상이 결과에서 절차로 옮겨 갔고, 그 이동이 없었다면 대량생산도 상장기업 감사도 성립하지 않았다.
이 전례가 인공지능 산출물에 그대로 이식되지는 않는다. 차이가 둘 있다. 제조 불량은 서로 독립인 경우가 많아 표본에서 모집단을 추정하기 쉽지만, 같은 모델이 만든 코드의 결함은 같은 원인을 공유해 뭉쳐 나올 수 있다. 표본이 깨끗해도 모집단이 깨끗하다는 보장이 그만큼 약해진다. 또 도지와 로미그는 검사자가 생산자와 독립이라고 전제했는데, 생성한 모델에게 자기 결과를 검토하게 하면 그 독립성이 사라진다. 그러므로 전례가 알려 주는 것은 해법의 내용이 아니라 해법의 형식이다. 확인할 수 없는 부분의 존재를 부인하지 말고 그 크기를 재서 문서에 적고, 그 문서에 조직이 서명하게 하는 형식이다.
남은 문제가 하나 있다. 책임의 형식을 고쳐도 해소되지 않는 문제다.
펜으로 글을 쓰던 사람은 펜을 잡는 법과 문장을 쓰는 법을 함께 배웠다. 워드프로세서를 쓰게 되면 프로그램을 다루는 법이 추가된다. 인공지능으로 쓰게 되면 지시를 구성하는 법이 다시 추가된다. 그런데 생산물은 여전히 글이다. 목적은 변하지 않았는데 배워야 할 것은 매 단계 도구 쪽으로 늘어난다. 도구의 문법을 익히는 데 드는 시간이 늘어나는 만큼, 좋은 글이 무엇인가라는 목적의 문법에 쓰는 시간은 줄어든다.
이 구조는 낯설지 않다. 카를 마르크스는 1844년의 초고에서 노동자가 자기 생산물과 맺는 관계를 이렇게 적었다.
Diese Verwirklichung der Arbeit erscheint in dem nationalökonomischen Zustand als Entwirklichung des Arbeiters, die Vergegenständlichung als Verlust und Knechtschaft des Gegenstandes, die Aneignung als Entfremdung, als Entäußerung.
노동의 실현은 국민경제적 상태에서 노동자의 탈실현으로 나타나고, 대상화는 대상의 상실과 예속으로, 획득은 소외이자 외화로 나타난다.
마르크스, 『1844년 경제학·철학 초고』 제1초고 「소외된 노동」
마르크스가 본 것은 생산물이 만든 사람에게서 떨어져 나와 낯선 힘으로 그 앞에 마주 선다는 사태였다. 그의 분석 대상은 임금노동과 생산수단의 소유 관계였으므로 여기에 그대로 옮겨 붙지는 않는다. 그러나 사태의 형태는 겹친다. 자기 이름으로 나가는 코드를 자신이 읽지 못한 개발자는 그 코드를 만들었으면서 소유하지 않는다. 다른 점은 소외의 원인이다. 마르크스에게 원인은 소유 구조였고, 여기서는 산출량과 이해 속도의 격차다.
그래서 목적의 문법이 비어 가는 문제는 개인의 성실성으로 메울 수 없다. 하루에 몇만 줄을 내놓으라는 요구를 받은 사람에게 각 줄의 목적을 음미하라고 말하는 것은 조건을 무시한 요구다. 이 문제를 다룰 수 있는 자리는 개인이 아니라 생산 조건을 정하는 자리다. 무엇을 만들지, 무엇은 만들지 않을지, 어느 산출물이 사람의 눈을 반드시 거쳐야 하는지를 정하는 것이 그 자리의 일이다. 이 일은 산출물을 다 읽는 일과 다르고, 다 읽을 수 없다는 사실을 전제로 해야만 시작할 수 있다.
도구가 확장될수록 사람이 생산물에서 멀어진다는 진단은 원인을 잘못 짚었다. 현미경은 층을 늘리면서 접근을 늘렸다. 아이디의 구분을 빌리면 도구는 몸에 흡수되기도 하고 판독을 요구하기도 하며 상대처럼 마주 서기도 하는데, 거리를 만드는 것은 층의 개수가 아니라 판독해야 할 것의 성격과 양이다. 그리고 감각이든 센서든 모두 현상 쪽에 있으므로, 어느 도구가 실체에 더 가깝냐를 다투는 물음은 처음부터 답이 없었다. 칸트가 이론적 인식의 범위를 현상에 제한한 이유가 그것이고, 데카르트가 확보한 확실성도 사유하는 순간의 존재까지였다.
답이 있는 물음은 다른 것이었다. 산출량이 이해 속도를 앞질렀는가. 이 지점에서 세 가지가 함께 무너진다. 첫째, 검증이 병목이라는 위안은 성립하지 않는다. 검증할 수 있는 만큼만 만들면 도구를 쓸 이유가 없고, 도구의 속도로 만들면 검증은 생략된다. curl 사례가 보여 준 대로 모델이 좋아지는 것으로는 해결되지 않는다. 생성 비용은 사라졌는데 판정 비용은 남았고, 그 비대칭은 모델의 개선으로 완화되지 않고 판정의 종류만 바뀐다. 둘째, 결과의 무결성을 전제한 책임은 성립하지 않는다. 확인 수단이 없는 사람에게 결과를 묻는 구조에서 사람은 판단의 주체가 아니라 엘리시가 말한 완충 부품이 되고, 템피 사고의 법적 귀결이 그 모양을 그대로 보여 주었다. 셋째, 배움의 방향이 목적에서 도구로 기울어 생산물의 기준 자체가 얇아진다.
그러나 첫 번째와 두 번째는 전례가 있는 문제다. 데이크스트라는 시험이 결함의 부재를 증명하지 못한다고 못 박았고, 도지와 로미그는 전량 검사를 포기하는 대신 통과할 불량의 확률을 계산해 적었으며, 국제감사기준 530호는 표본위험을 별도 개념으로 정의해 감사인이 관리하도록 했다. 세 제도의 공통점은 확인하지 못한 부분의 존재를 문서에 남기고 책임을 결과에서 절차로 옮긴 것이다. 인공지능 산출물에 그대로 옮길 수는 없다. 결함이 같은 원인을 공유해 뭉쳐 나오는 성질과, 생성한 모델에게 검토를 맡기면 검사자의 독립성이 사라지는 문제가 남는다. 옮겨야 하는 것은 방법이 아니라 형식이다.
세 번째는 전례가 없다. 표본검사와 표본감사는 무엇이 불량이고 무엇이 왜곡표시인지가 이미 정해진 곳에서 작동한다. 기준이 있는 곳에서 확인 범위를 줄이는 기술이다. 반면 도구의 문법이 목적의 문법을 밀어내는 문제는 기준 자체가 얇아지는 문제이므로, 표본을 어떻게 뽑을지 정하는 일로는 손댈 수 없다. 좋은 코드와 좋은 글의 기준을 누가 어디서 유지하는가는 여전히 열려 있고, 산출량이 늘어날수록 이 물음은 답을 미룰 여지가 줄어든다.