직장 인공지능의 환상 — 도입 열풍은 왜 대부분 실패로 끝나는가

수백 명이 매달린 사내 인공지능 시범사업이 단 한 건도 성과를 내지 못했다는 한 직장인의 고백은, 개인의 불운이 아니라 전 세계가 통계로 확인한 구조의 한 단면이다.

2026년 6월 13일 · 기술 · 조직

한 직장인이 최근 자신의 개인 사이트에 회사 풍경을 적었다. 구내식당의 한 주 식단표는 시간표처럼 정리된 한 장짜리 표였다. 한눈에 수요일 메뉴가 들어오는 그 표를, 누군가가 사내 회의에서 자랑스럽게 시연했다. 표를 내려받아 챗봇에 올리고 "수요일 점심이 뭐냐"고 물었다. 챗봇은 표를 직접 읽는 것보다 긴 답을 내놓았고, 내려받아 올리고 질문을 입력하는 시간이 그냥 표를 보는 시간보다 길었다.

같은 회의에서는 챗봇에게 "오늘 기분이 어떠냐"고 묻는 장면이, 농담이 아니라 진지한 활용 사례로 제시됐다. 정보기술(Information Technology, IT) 책임자는 의심스러운 메일이 오면 바탕화면에 저장한 뒤 챗봇에 올려 물어보라고 권했다. 보안 관점에서는 권장하기 어려운 조언이다. 글쓴이가 가장 분노한 지점은 따로 있었다. 직원 성과급은 2년 전 재정난을 이유로 폐지됐고, 공석은 채워지지 않으며, 업무에 필요한 데이터베이스 사용료는 매년 정당성을 증명해야 겨우 유지된다. 그런 회사에 인공지능 도입을 권하는 컨설턴트 비용과 수년치 외부 워크숍 비용, 두 종류의 상용 챗봇 사용료는 별 저항 없이 통과됐다.

이 글은 한 사람의 분풀이로 읽기 쉽다. 그러나 거기 담긴 핵심 관찰들은 2025년 이후 전 세계 연구가 숫자로 확인한 패턴과 정확히 겹친다. 이 글에서는 그 겹침을 따라가 본다.

1.이것은 한 사람의 불평이 아니다 — 95%라는 숫자

2025년 미국 매사추세츠공과대학(MIT)의 NANDA 연구진은 「The GenAI Divide: State of AI in Business 2025」라는 보고서를 냈다. 경영진 인터뷰 약 150건, 직원 설문 350명, 공개된 인공지능 도입 사례 300건을 분석한 결과의 한 줄 요지는 충격적이었다. 기업이 시작한 생성형 인공지능 시범사업의 약 95%가 손익(Profit and Loss, P&L)에 측정 가능한 영향을 주지 못하고 멈춘다는 것이다.

여기서 생성형 인공지능이란 챗GPT나 코파일럿처럼 글·코드·이미지를 만들어 내는 거대언어모델(Large Language Model, LLM) 기반 도구를 말한다. 기업들은 이 기술에 전 세계적으로 약 300억~400억 달러를 쏟아부었다. 그런데 그중 빠른 매출 성과로 이어진 비율은 약 5%에 그쳤다. 같은 데이터에서 도입의 흐름을 따라가면 깔때기 모양이 드러난다. 약 80%가 도구를 살펴보고, 60%가 기업용 솔루션을 평가하며, 20%가 실제 시범사업에 착수하지만, 측정 가능한 성과를 내며 정착하는 단계까지는 5%만 도달한다.

다시 말해 글쓴이의 회사에서 "수백 명이 매달렸지만 단 한 건도 성공하지 못했다"는 경험은, 통계적으로는 예외가 아니라 표준에 가깝다. 실패가 그 회사 직원들의 무능이나 게으름 때문이라고 보기 어렵다는 뜻이다.

2.왜 실패하는가 (1) — 도구가 아니라 조직의 문제

MIT 연구진이 짚은 실패의 근본 원인은 모델 성능도, 예산도, 인재 부족도 아니었다. 그들이 "학습 격차(learning gap)"라고 부른 것, 즉 도구가 회사의 실제 업무 흐름을 학습하고 그에 맞게 적응하지 못한다는 점이었다. 챗GPT 같은 범용 도구는 개인이 유연하게 쓸 때는 빛나지만, 기업 업무에 넣으면 그 조직의 맥락을 기억하지도 개선되지도 않은 채 제자리를 맴돈다.

이 진단은 글쓴이의 회의 풍경과 맞물린다. 풀어야 할 구체적 문제를 먼저 정하고 거기에 도구를 맞춘 것이 아니라, 도구를 먼저 사 두고 쓸 곳을 거꾸로 발명했기 때문이다. 식단표를 챗봇에 넣은 시연이 정확히 그런 사례다. 문제가 없는 자리에 도구를 욱여넣으면, 결과는 거의 정해져 있다.

3.왜 실패하는가 (2) — 검증세와 생산성 위약효과

인공지능이 가장 강하다고 여겨지는 영역, 즉 코드 작성에서조차 비슷한 현상이 측정됐다. 2025년 7월 비영리 연구기관 METR은 무작위 대조 시험(Randomized Controlled Trial, RCT)을 발표했다. 무작위 대조 시험은 신약 임상시험에 쓰는 방식으로, 같은 과제를 무작위로 나눠 한쪽에만 처치를 허용하고 결과를 비교하는 가장 엄격한 검증법이다.

경험 많은 오픈소스 개발자 16명에게 자신이 수년간 기여해 온 거대한 코드 저장소의 실제 과제 246건을 맡겼다. 과제마다 인공지능 도구 사용을 무작위로 허용하거나 금지했다. 결과는 연구진의 예상을 뒤집었다. 인공지능 사용이 허용된 과제에서 개발자들은 오히려 19% 더 오래 걸렸다. 더 흥미로운 것은 인식이었다. 그들은 시작 전 인공지능이 작업을 24% 빠르게 해 줄 것이라 예측했고, 실제로 느려졌음에도 끝난 뒤 자신이 20% 빨라졌다고 믿었다.

이 격차에는 두 가지 메커니즘이 있다. 하나는 "검증세(verification tax)"다. 빠르게 생성된 초안은 그럴듯하지만, 그것이 맞는지 확인하고 틀린 부분을 고치는 데 드는 시간이 절약된 시간을 갉아먹는다. 다른 하나는 착각 그 자체다.

다만 이 연구는 한계도 분명하다. 표본이 16명으로 작고, 대상이 자기 코드를 손바닥처럼 아는 숙련 개발자였다는 점에서 인공지능이 끼어들 여지가 애초에 좁았다. 낯선 분야나 초안 단계, 비숙련자에게는 결과가 다를 수 있다. 연구진 스스로도 이 점을 인정했고, 도구는 그 뒤로도 빠르게 발전했다. 그럼에도 핵심은 남는다. "빨라진 느낌"과 "실제로 빨라짐"은 별개이며, 사람은 그 둘을 잘 구분하지 못한다.

4.왜 무의미한 일이 대단해 보이는가 — 더닝-크루거의 역전

글쓴이는 인공지능이 사람의 "더닝-크루거 효과"를 증폭시킨다고 적었다. 더닝-크루거 효과란 능력이 낮을수록 자기 실력을 과대평가하는 심리 경향으로, 1999년 두 심리학자가 정리했다. 흥미롭게도 2026년 핀란드 알토대학(Aalto University) 연구진이 이 고전적 효과가 인공지능 앞에서 무너진다는 것을 실험으로 보였다.

약 500명을 대상으로 한 두 차례 실험(1차 246명, 2차 452명)에서, 챗봇으로 논리 문제를 풀게 했더니 성적은 실제로 올랐다. 그러나 모든 참가자가 자기 성적을 일관되게 과대평가했다. 더 놀라운 것은 방향이었다. 보통은 실력이 낮은 사람이 가장 크게 착각하는데, 인공지능을 쓸 때는 스스로 인공지능을 잘 안다고 여기는 사람일수록 더 크게 과신했다. 연구진은 그 원인으로 "인지적 덜어내기(cognitive offloading)"를 지목했다. 대부분의 참가자가 문제마다 단 한 번 질문하고, 답을 다시 따져 보지 않은 채 받아들였다.

한 번 묻고, 그럴듯한 답을 받고, 검증을 건너뛴다. 그 짧은 회로가 "내가 똑똑해졌다"는 감각을 만든다.

이 발견은 식단표 시연을 다시 보게 한다. 한 장짜리 표를 챗봇에 넣어 "수요일 점심"을 묻는 행위 자체는 사소하다. 그러나 그 사소한 일을 회의에서 자랑스럽게 내보일 수 있었던 것은, 도구가 평범한 작업을 그럴듯한 포장지로 감싸 "나는 지금 무언가 앞선 일을 하고 있다"는 감각을 주기 때문이다. 챗봇에게 기분을 묻는 시연이 농담이 아니라 진지하게 제시될 수 있었던 배경도 같다. 도구를 다룰 줄 안다는 자기 인식이, 그 도구로 한 일이 실제로 유용한지를 따지는 능력을 도리어 가려 버린다.

5.돈은 어디로 갔는가 — 예산 배분의 착시

MIT 데이터는 돈이 어디서 새는지도 보여 준다. 2025년 기업 인공지능 예산의 절반 이상이 영업·마케팅처럼 눈에 잘 띄는 영역에 몰렸지만, 정작 투자수익률(Return on Investment, ROI)이 가장 낮은 곳이 바로 그곳이었다. 실제 성과는 눈에 잘 안 띄는 백오피스(인사·재무·문서 처리 같은 후방 업무) 자동화에서 조용히 나왔다. 화려한 시연용 과제에 돈이 쏠리고, 효과가 나는 자리는 외면받는 구조다.

성공한 5%에는 공통점이 있었다. 첫째, 범위를 좁게 잡았다. 둘째, 특정 업무 영역에 특화했다. 셋째, 자체 인력만으로 밀어붙이기보다 외부 전문성과 협업했다. 같은 보고서에서 사내 정보기술 부서가 단독으로 구축한 경우의 성공률은 약 22%였던 반면, 내부와 외부 전문성을 결합한 경우는 약 67%였다. 또 하나 짚을 대목은 "그림자 인공지능(shadow AI)"이다. 회사가 사 준 도구는 겉돌고, 직원들은 개인 챗봇 계정으로 조용히 일을 처리한다. 공식 도입은 실패로 기록되지만, 비공식 사용은 측정되지 않은 채 굴러간다.

6.가장 날카로운 지점 — "돈이 없다"는 말의 진실

글쓴이의 분노가 가장 정확하게 겨눈 곳은 인공지능 자체가 아니라 조직의 모순이었다. 늘 "돈이 없다"던 회사가, 이 기술 앞에서는 순식간에 컨설팅비와 수년치 워크숍 예산과 고가의 사용료를 댔다. 공공·대형 조직에서 어떤 변화든 도입하는 데 으레 몇 년이 걸린다던 그 더딘 절차가, 이번에는 눈 깜짝할 사이에 진행됐다.

그가 끌어낸 결론은 뼈아프다. 변화가 느린 것이 조직의 본질적 한계가 아니라, 하지 않기로 한 선택이었다는 사실이 드러난 것이다. 자원이 없어서 못 한 게 아니라, 거기에 쓸 마음이 없었을 뿐이라는 것. 성과급을 없애고 데이터베이스 사용료를 깎으면서 챗봇 워크숍에는 선뜻 지갑을 연 그 대비가, 직원에게는 신뢰가 무너지는 순간으로 남는다. 이 통찰은 인공지능과 무관하게, 우선순위를 자원의 제약으로 위장해 온 많은 조직에 그대로 적용된다.

7.나가며 — 반(反)인공지능이 아니라 반(反)화물숭배

이 글의 어떤 대목도 "인공지능은 쓸모없다"고 말하지 않는다. 코드 저장소에서, 백오피스 자동화에서, 좁게 정의된 문제에서 도구는 실제로 성과를 낸다. 성공한 5%가 그 증거다. 문제는 도구가 아니라, 문제 없는 자리에 도구를 욱여넣고 "시도했다는 사실" 자체를 성과로 치는 태도다.

거품이 언젠가 꺼질지 어떨지는 검증할 수 없는 예측이다. 그러나 예측이 아니라 진단으로 보면 이 글의 가치는 분명하다. 효과를 측정하지 않고 시도를 성과로 치는 문화, 비용 대비 효과를 묻는 사람을 시대에 뒤처진 사람으로 모는 분위기는 실재하며, 데이터가 그 위험을 뒷받침한다. 성공한 5%와 실패한 95%를 가른 것은 더 좋은 모델이 아니라, 풀 문제를 먼저 정하고 효과를 정직하게 재는 규율이었다. 식단표를 한눈에 읽을 수 있다면, 그것을 챗봇에게 묻지 않는 판단력. 환상의 반대편에 있는 것은 인공지능을 거부하는 태도가 아니라, 바로 그 판단력이다.