붉게 달군 쇠를 망치로 내리치면 손목으로 무언가가 올라온다. 쇠가 아직 무른지, 식어서 버티기 시작했는지가 그 진동에 실려 있다. 대장장이는 색을 보고 판단하기도 하지만 결국은 팔로 안다. 그가 다루는 것은 쇠지만 그가 읽는 것은 망치다. 쇠의 상태는 망치를 통과해 그에게 도착한다.
이것이 도구가 하는 일 가운데 잘 이야기되지 않는 쪽이다. 도구는 힘을 늘려 주는 물건으로만 설명되곤 한다. 팔로 못을 박을 수 없으니 망치를 쓰고, 걸어서 갈 수 없는 거리니 자동차를 탄다는 식이다. 그러나 도구는 힘을 늘리는 동시에 무언가를 보여 준다. 정확히 말하면, 보이게 하는 방식을 정한다. 망치를 쥔 사람에게 쇠의 온도는 진동으로 나타나고, 온도계를 든 사람에게는 숫자로 나타난다. 같은 쇠가 서로 다른 모습으로 도착한다.
도구를 창이라 불러 보자. 창은 무언가를 보게 해 주는 물건이다. 그리고 창은 벽에 난 구멍이므로, 보여 주는 만큼 나머지를 가린다. 창의 크기와 위치가 풍경을 정한다. 이것이 은유로 그치지 않는 이유는, 도구를 바꾸면 실제로 사람이 접근할 수 있는 것이 바뀌기 때문이다.
창을 넓히면 무엇이 보이지 않게 되는가
가장 자주 나오는 이야기는 상실의 이야기다.
걸어가는 사람은 길을 발로 읽는다. 흙의 습기, 자갈의 크기, 오르막이 시작되는 지점이 종아리에 새겨진다. 말을 타면 눈높이가 올라가고 속도가 붙는다. 노면은 멀어지지만 대신 동물의 호흡이 안장을 통해 전해진다. 자동차에 타면 사람은 금속과 유리에 둘러싸인다. 창밖으로 풍경이 지나가지만 그것은 이제 보는 대상이지 밟는 대상이 아니다. 자율주행차에서는 조작마저 사라진다. 남는 것은 좌석에 앉아 있는 일이다.
글쓰기도 같은 계단을 밟았다. 붓이나 펜으로 쓸 때 문장은 손의 속도로 나온다. 느리다는 것이 단점만은 아니어서, 쓰는 사람은 쓰는 동안 자기가 무엇을 쓰고 있는지 안다. 문장을 되돌릴 수 없으니 다음 문장을 미리 생각해야 하고, 그 강제가 사고를 다듬는다. 워드프로세서로 옮겨 오면 지우고 옮기고 복사하는 일이 쉬워진다. 글의 구조를 나중에 뒤집을 수 있게 되었고, 그만큼 처음부터 구조를 세워 두어야 할 필요가 줄었다. 인공지능으로 쓰면 한 단계가 더 붙는다. 무엇을 원하는지 말하면 초안이 돌아온다. 사람이 하는 일은 문장을 만드는 일에서 돌아온 문장을 고르는 일로 옮겨 간다.
여기서 다들 같은 결론으로 간다. 도구가 발달할수록 사람은 자기가 만드는 것에서 멀어진다. 중간에 층이 쌓이고, 층이 쌓일수록 손이 닿지 않는다. 그래서 우리는 더 많은 것을 만들면서 더 적게 안다.
이 결론은 절반만 맞다. 그리고 절반이 틀렸다는 사실이 나머지 절반보다 중요하다.
현미경이라는 반례
현미경을 생각해 보자. 렌즈 두 장이 눈과 대상 사이에 끼어들었다. 층은 분명히 늘어났고, 대상은 사람의 감각에서 한 단계 물러났다. 그런데 현미경을 든 사람은 맨눈으로 보던 사람보다 대상에 더 가까워졌다. 세균은 육안에 잡히지 않는다. 매개가 늘어난 만큼 접근이 줄어든다는 명제가 참이라면 미생물학은 시작될 수 없었다.
의료 영상도 그렇다. 초음파와 자기공명영상은 몸을 열지 않고 몸속을 보게 한다. 층이 여러 겹 쌓였는데 접근은 늘었다. 손으로 배를 눌러 짐작하던 것을 이제는 단면으로 본다.
그러므로 층의 개수는 답이 아니다. 물어야 하는 것은 그 층이 몸에 흡수되는가, 아니면 따로 읽어야 하는 무엇으로 남는가다.
미국의 기술철학자 돈 아이디가 이 차이를 정리했다. 안경을 쓴 사람은 안경을 보지 않는다. 안경으로 본다. 도구가 몸에 흡수되어 주의가 도구를 지나쳐 세계로 향하는 상태다. 현미경도 여기에 든다. 렌즈를 의식하는 순간은 렌즈가 더러워졌을 때뿐이고, 그때 렌즈는 통로에서 사물로 돌변한다.
반면 지도나 계기판은 흡수되지 않는다. 조종사는 고도를 몸으로 느끼지 않는다. 고도계의 숫자를 읽는다. 세계로 가는 길에 판독이라는 작업이 하나 끼어들었고, 그 작업은 사라지지 않는다. 판독이 틀리면 세계에 대한 판단도 함께 틀어진다. 아이디는 이것을 해석 관계라 불렀다.
그리고 세 번째가 있다. 도구가 세계로 가는 통로도 아니고 읽어야 할 표시판도 아니고, 그 자체로 상대처럼 마주 서는 경우다. 지시를 주면 답이 오고, 그 답의 근거를 되물을 수 있고, 되물으면 또 답이 온다. 아이디는 이런 도구가 진정한 타자는 아니면서 타자처럼 다루어지는 준(準)타자가 된다고 보았다. 그가 1990년에 이 글을 쓸 때 염두에 둔 것은 초기 컴퓨터였다. 오늘 우리가 쓰는 대화형 도구는 그가 그린 자리에 더 정확히 들어앉는다.
이렇게 갈라 놓으면 앞의 계단이 다르게 보인다. 걷기에서 자동차로 가는 길에서 잃은 것은 노면과의 접촉이 아니라, 발이라는 흡수된 창을 계기판이라는 판독해야 할 창으로 바꾼 일이다. 그리고 자율주행차가 만든 것은 판독해야 할 창을 상대해야 할 창으로 바꾼 일이다.
감각은 원래도 확실하지 않았다
여기서 향수가 끼어든다. 손으로 알던 시절에는 확실했는데 지금은 불확실해졌다는 감상이다. 이 감상은 사실이 아니다.
대장장이의 팔에 그가 모르는 감각신경 이상이 있었다고 해 보자. 진동은 여전히 손목으로 올라오고 그는 여전히 무언가를 느낀다. 느꼈다는 사실은 참이다. 그러나 그 느낌이 쇠의 상태를 알려 주었다는 보증은 어디에도 없다.
그러면 팔에 충격 센서를 달아 수치로 확인하면 될까. 센서도 고장 날 수 있고, 고장 났다는 사실을 본인이 모를 수 있다. 감각을 의심해 계측을 붙였는데 계측을 의심할 근거가 다시 필요해진다. 도구를 백 개 붙여도 이 회로는 닫히지 않는다.
칸트가 못 박은 것이 이것이었다. 우리에게 주어지는 것은 언제나 우리의 인식 형식을 거친 현상이고, 그 배후의 것 자체는 이론적 인식의 범위 밖에 있다. 손목의 진동과 센서의 출력값은 둘 다 현상 쪽에 있다. 하나는 신경을 거친 현상이고 다른 하나는 반도체를 거친 현상이다. 어느 쪽도 쇠의 온도 그 자체가 아니다. 대장장이가 확실했던 것이 아니라, 확실하지 않다는 사실을 물을 이유가 없었을 뿐이다.
데카르트가 붙잡은 최소한도 생각보다 작다. 널리 인용되는 “나는 생각한다, 그러므로 나는 존재한다”는 1637년 프랑스어 『방법서설』에서 나왔고, 1641년 『성찰』 제2성찰의 문장은 그것과 다르다. 라틴어로 Ego sum, ego existo — “나는 있다, 나는 존재한다”이고, 이것이 발언하거나 생각할 때마다 필연적으로 참이라고 그는 적었다. 보증되는 것은 사유하는 그 순간에 사유하는 자가 있다는 것뿐이다. 세계가 어떠한지, 팔이 정상인지, 센서가 작동하는지는 이 문장에서 한 걸음도 따라 나오지 않는다.
그러니 어떤 창이 실체에 더 가까운지를 다투는 물음에는 답이 없다. 확실성을 요구하면 어떤 창도 통과하지 못하고, 요구하지 않으면 모든 창이 통과한다. 답이 있는 물음은 하나다. 이 창의 출력을 어떤 조건에서 어느 정도까지 믿기로 하고, 그 믿음이 틀렸을 때 누가 무엇을 감당하는가.
자동화가 남기는 일은 더 어려운 일이다
인지심리학자 리산 베인브리지는 1983년에 자동화의 역설을 지적했다. 자동화는 자동화할 수 있는 일을 가져가고 자동화할 수 없는 일을 사람에게 남긴다. 남는 일은 감시와 비상 개입이다. 그런데 감시는 지루하고 사람의 주의는 오래 버티지 못한다. 개입이 필요한 순간은 공정이 이미 비정상으로 흐른 순간이므로 평소보다 높은 숙련이 요구되는데, 평소에 직접 조작하지 않으니 그 숙련은 녹슨다. 자동화 이후 조작자에게 필요한 훈련은 줄어드는 것이 아니라 늘어나야 한다는 것이 그의 결론이었다.
그가 다룬 것은 화학 공정과 항공기 조종석이었다. 사십 년이 지나 같은 구조가 책상 위로 올라왔다. 초안 작성과 코드 생성은 기계가 가져가고, 사람에게는 생성물을 읽고 판정하는 일이 남는다. 그 판정은 직접 쓰는 일보다 쉽지 않다. 자기가 쓴 문장의 결함은 쓰는 동안 감지되지만, 남이 써 온 매끄러운 문장의 결함은 따로 힘을 들여 찾아야 한다.
예전에 코드를 쓰던 사람은 코드가 쓰이는 것을 눈으로 보았다. 한 줄이 늘어나는 속도가 생각이 진행되는 속도와 대체로 맞았다. 이제 코드는 사람이 읽는 속도와 무관하게 늘어난다. 화면을 스크롤해도 끝이 보이지 않는 변경 사항 앞에서, 무엇이 만들어지고 있는지를 몸으로 붙잡는 감각이 사라진다. 물론 이 대목에서 조언은 정해져 있다. 작은 덩어리로 끊어서 중간중간 확인하고 방향을 잡으라는 것이다.
그 조언에는 구멍이 있다.
검증이 병목이라는 말은 스스로를 무너뜨린다
인공지능을 도입하는 명분은 열 사람이 하던 일을 한 사람에게 맡기는 데 있다. 하루 오백 줄을 쓰던 사람에게 요구되는 것이 하루 수만 줄이 된다. 그런데 사람의 검토 능력은 열 배가 되지 않았다. 그러면 늘어난 산출물 가운데 검토되지 않은 부분이 반드시 남는다.
기사와 강연에서 반복되는 위안이 있다. 인공지능 시대의 병목은 생산이 아니라 인간의 검증이라는 말이다. 사람의 자리가 사라지지 않는다는 뜻으로 쓰이니 듣기 좋다. 그런데 이 말은 성립하지 않는다. 검증이 병목이라면 검증할 수 있는 만큼만 생산해야 하고, 그러면 도구를 도입한 경제적 이유가 사라진다. 반대로 생산량을 도구의 속도에 맞추면 검증은 병목으로 남지 못하고 생략된다. 두 가지를 동시에 주장할 수는 없다. 검증은 병목이 아니다. 병목이었다면 생산이 거기서 막혀야 하는데, 실제로는 막히지 않고 통과한다.
한 사례가 이 산술을 그대로 보여 주었다. 데이터 전송 도구 curl은 2019년 4월부터 취약점 신고에 포상금을 주는 제도를 운영했다. 개발자 다니엘 스텐베리의 집계로 2025년 신고의 약 20퍼센트가 인공지능으로 생성한 무가치한 문서였고, 그해 신고 가운데 실제 취약점으로 확인된 것은 약 5퍼센트였다. 그는 2026년 1월 이 제도를 종료했다. 실패했기 때문이 아니다. 그동안 확인된 취약점이 87건이고 지급된 포상금이 10만 달러를 넘는다. 종료 이유는 판정 부담이었다.
명백한 쓰레기 신고는 1분 안에 닫을 수 있다. 판정 비용을 끌어올리는 것은 함수 이름과 취약점 분류 번호까지 갖춘 채 확신에 차서 틀린 문서다. 그런 문서 하나를 반박하려면 사람이 실제 코드를 읽어야 한다. 생성 쪽에서 사라진 비용이 판정 쪽으로 옮겨 갔을 뿐 총량은 줄지 않았고, 옮겨 간 곳에는 소수의 유지관리자만 있었다.
이야기의 뒷부분이 더 중요하다. 모델의 품질이 올라가면서 조작된 신고는 줄었다. 그런데 신고의 양은 줄지 않았다. 스텐베리는 몇 달 뒤 접수 창구를 원래대로 돌렸지만 포상금은 복구하지 않았다. 문제의 원인이 모델의 부정확함이 아니었기 때문이다. 원인은 생성의 문턱이 사라졌는데 판정의 문턱은 남았다는 비대칭 자체였다. 모델이 좋아지면 이 비대칭은 해소되는 대신 이동한다. 확인해야 할 것이 거짓 여부에서 중요도 판정으로 바뀌고, 뒤엣것이 더 어렵다.
확인하지 않은 것에 이름을 걸기
그래서 남는 물음은 인식론이 아니라 책임의 물음이다.
내가 열지 않은 코드가 내 이름으로 배포되었다. 도구는 문제가 없다고 했다. 서비스는 몇 달 동안 잘 돌았다. 그러다 그 안에 있던 결함 하나가 터져 큰 손실이 났다. 이때 책임은 도구가 아니라 나에게 온다. 나는 확인할 수단이 없었는데 결과에 대해 답해야 한다.
이 구조에는 이름이 있다. 문화인류학자 매들린 클레어 엘리시는 2019년 논문에서 이것을 도덕적 완충 구역이라 불렀다. 자동차의 완충 구역은 충돌의 힘을 흡수해 탑승자를 보호하도록 설계된 부분이다. 고도로 자동화된 시스템에서는 그 자리에 사람이 놓인다. 시스템 전체가 실패했을 때 법적·도덕적 충격을 흡수하는 부품이 되는 것이다. 자동차의 완충 구역은 사람을 보호하지만 도덕적 완충 구역이 보호하는 것은 기술 시스템의 정당성이다.
2018년 3월 애리조나주 템피에서 우버의 자율주행 시험 차량이 자전거를 끌고 도로를 건너던 일레인 허츠버그를 치어 숨지게 했다. 미국 교통안전위원회는 이듬해 조사 결과를 내면서 사고의 유력한 원인을 좌석에 있던 안전 담당자가 주행 환경과 시스템을 감시하지 못한 데 있다고 판단했다. 동시에 우버 쪽 요인도 지적했다. 소프트웨어가 보행자를 보행자로 식별하지 못했고, 자동 긴급제동이 비활성화되어 있었으며, 조작자의 자동화 안일에 대한 대비가 없었다. 결과는 갈렸다. 법인에는 형사 책임이 인정되지 않았고, 안전 담당자는 과실치사로 기소되어 2023년 형량 합의로 보호관찰 3년을 받았다.
그 사람이 결백했다는 이야기가 아니다. 감시를 하지 않은 것은 사실이다. 짚어야 할 것은 그 구조가 사람에게 요구한 일의 성격이다. 보행자를 끝까지 보행자로 분류하지 못한 시스템 옆에서, 긴급제동이 꺼진 채로, 아무 일도 일어나지 않는 시간을 몇 시간이고 응시하다가 몇 초 안에 개입하는 일이었다. 베인브리지가 1983년에 사람이 해낼 수 없다고 적어 둔 그 일이다. 해낼 수 없다고 알려진 일을 맡기고 실패하면 책임을 묻는 구조는 책임 배분이 아니라 책임 전가에 가깝다.
공학은 백 년 전에 이 문제를 만났다
여기서 절망하기는 쉽다. 다 볼 수 없는데 책임은 져야 하니 출구가 없다는 식이다. 그런데 전수 확인의 불가능성은 인공지능이 만든 새 조건이 아니다.
소프트웨어에서 이 사실은 1969년에 공식화되었다. 에츠허르 데이크스트라는 그해 로마에서 열린 회의에서, 프로그램 시험은 결함이 있음을 보여 줄 수는 있어도 결함이 없음을 보여 줄 수는 없다고 말했다. 시험은 표본이기 때문이다. 시험을 통과한 프로그램에 결함이 없다는 결론은 논리적으로 도출되지 않는다. 반세기 넘게 지난 지금도 이 문장은 그대로 유효하다.
제조업은 그보다 앞섰다. 벨연구소의 해럴드 도지와 해리 로미그는 1929년에 표본검사법을 발표했다. 전량 검사가 경제적으로 불가능한 상황에서 확률론으로 표본 크기와 합격 기준을 정하고, 그 결과 소비자가 감수하게 되는 불량 수준을 미리 명시하는 방법이었다. 이 방법은 불량이 통과할 가능성을 없애지 않았다. 그 가능성을 계산해 문서에 적었다.
회계감사도 같은 길을 갔다. 국제감사기준은 표본감사를 모집단의 100퍼센트 미만에 감사절차를 적용해 전체에 관한 결론의 합리적 근거를 얻는 것으로 정의하고, 표본에 근거한 결론이 전수 검사의 결론과 다를 위험을 별도 개념으로 규정한다. 감사인은 재무제표에 오류가 없다고 보증하지 않는다. 정해진 절차를 정해진 수준으로 수행했다고 보증한다.
세 제도가 공통으로 한 일이 있다. 결과의 무결성을 보증하는 일을 포기했다. 대신 세 가지를 문서화했다. 무엇을 어느 비율로 확인했는가, 확인하지 못한 부분에서 문제가 통과할 확률이 얼마인가, 그 확률을 누가 감수하기로 합의했는가. 책임의 대상이 결과에서 절차로 옮겨 갔고, 그 이동이 없었다면 대량생산도 상장기업 감사도 성립할 수 없었다.
이 전례가 인공지능 산출물에 그대로 이식되지는 않는다. 제조 불량은 서로 독립인 경우가 많아 표본에서 모집단을 추정하기 쉽지만, 같은 모델이 만든 코드의 결함은 같은 원인을 공유해 뭉쳐 나올 수 있다. 표본이 깨끗해도 모집단이 깨끗하다는 보장이 그만큼 약하다. 또 도지와 로미그는 검사자가 생산자와 독립이라고 전제했는데, 생성한 모델에게 자기 결과를 검토하게 하면 그 독립성이 사라진다. 도구가 문제없다고 말하는 것은 근거가 아니라 의견이다.
그러니 전례가 알려 주는 것은 해법의 내용이 아니라 해법의 형식이다. 확인할 수 없는 부분이 있다는 사실을 부인하지 말고, 그 크기를 재서 적고, 그 문서에 조직이 서명하게 하는 형식이다. 한 사람이 다 보지도 못한 산출물에 혼자 이름을 거는 구조는 이 형식이 없을 때 생긴다.
배우는 것이 목적에서 도구로 옮겨 간다
책임의 형식을 고쳐도 남는 문제가 하나 있다.
펜으로 쓰던 사람은 펜을 잡는 법과 문장을 쓰는 법을 함께 배웠다. 워드프로세서를 쓰게 되면 프로그램을 다루는 법이 붙는다. 인공지능으로 쓰게 되면 지시를 구성하는 법이 다시 붙는다. 그런데 생산물은 여전히 글이다. 목적은 변하지 않았는데 배워야 할 것은 매 단계 도구 쪽으로 늘어난다. 도구의 문법을 익히는 데 드는 시간이 늘어나는 만큼, 좋은 글이 무엇인가라는 목적의 문법에 쓰는 시간은 줄어든다.
이 구조 자체는 낯설지 않다. 마르크스는 1844년의 초고에서 노동자가 자기 생산물과 맺는 관계를 적었다. 노동의 실현이 노동자의 탈실현으로 나타나고, 대상화가 대상의 상실로 나타난다는 것이었다. 그가 본 것은 만든 것이 만든 사람에게서 떨어져 나와 낯선 힘으로 그 앞에 마주 서는 사태였다. 그의 분석 대상은 임금노동과 생산수단의 소유 관계였으니 여기에 그대로 겹쳐 놓을 수는 없다. 그러나 사태의 형태는 닮았다. 자기 이름으로 나가는 코드를 자신이 읽지 못한 사람은 그것을 만들었으면서 소유하지 않는다. 다른 점은 원인이다. 마르크스에게 원인은 소유 구조였고, 지금은 산출량과 이해 속도의 격차다.
그래서 이 문제는 개인의 성실성으로 메울 수 없다. 하루에 수만 줄을 내놓으라는 요구를 받은 사람에게 각 줄의 목적을 음미하라고 말하는 것은 조건을 무시한 요구다. 이 문제를 다룰 수 있는 자리는 개인이 아니라 생산 조건을 정하는 자리다. 무엇을 만들지, 무엇은 만들지 않을지, 어느 산출물이 사람의 눈을 반드시 거쳐야 하는지를 정하는 것이 그 자리의 일이다. 그 일은 산출물을 다 읽는 일과 다르고, 다 읽을 수 없다는 사실을 전제로 해야만 시작할 수 있다.
창 앞에서 하는 일이 세 번 바뀌었다
처음으로 돌아가 보자.
대장장이는 창을 통해 보지 않았다. 창이 그의 팔이었으므로 그는 보는 줄도 모르고 보았다. 계기판을 앞에 둔 사람은 창을 읽는다. 읽는다는 것은 읽지 않을 수 있다는 뜻이고, 잘못 읽을 수 있다는 뜻이다. 대화형 도구를 쓰는 사람은 창과 이야기한다. 이야기한다는 것은 상대의 말을 믿거나 믿지 않을 수 있다는 뜻이고, 그 판단이 자기 몫이라는 뜻이다.
세 단계에서 사람이 잃은 것은 대상과의 접촉이 아니다. 접촉은 처음부터 확실하지 않았고, 현미경과 의료 영상이 보여 준 대로 매개는 접근을 늘리기도 한다. 잃은 것은 자기가 무엇을 확인했는지 스스로 아는 상태다. 손으로 알 때는 확인했다는 사실을 따로 알 필요가 없었다. 판독할 때는 무엇을 읽고 무엇을 못 읽었는지 셀 수 있었다. 상대할 때는 그것마저 흐려진다. 답을 받았다는 것과 확인했다는 것이 구분되지 않기 때문이다.
그러므로 도구의 확장이 만든 거리는 층에서 오지 않는다. 산출량이 이해 속도를 앞지른 지점에서 온다. 그 지점을 넘어서면 확인한 것과 확인하지 않은 것의 경계가 흐려지고, 그 경계가 흐려진 채로 책임을 지라는 요구는 책임을 흡수해 달라는 요구로 바뀐다.
남은 물음은 창을 좁히자는 것이 아니다. 창은 계속 넓어질 것이고 넓어지는 것 자체는 손실이 아니다. 물어야 할 것은 넓어진 창 앞에서 무엇을 보았고 무엇을 보지 않았는지를 누가 세고 누가 적는가다. 세지 않으면 판단할 재료가 없고, 적지 않으면 서명할 근거가 없다. 좋은 글과 좋은 코드의 기준을 누가 어디서 유지하는지는 여전히 열려 있고, 산출량이 늘어날수록 이 물음은 답을 미룰 여지가 줄어든다.