기계 학습 · 설명가능성

영리한 한스 효과: AI는 음악을 듣지 않는다

100여 년 전 ‘계산하는 말’의 정체는, 오늘날의 인공지능이 무엇을 학습하고 무엇을 학습하지 못하는지를 놀랍도록 정확하게 설명한다. 높은 정확도가 곧 이해를 뜻하지는 않는다.

01계산하는 말

20세기 초 독일에 ‘영리한 한스(Clever Hans)’라는 이름의 말이 있었다. 주인 빌헬름 폰 오스텐(Wilhelm von Osten)은 이 말이 산수를 한다고 주장했다. “3 더하기 3은?”이라고 물으면 한스는 앞발로 바닥을 두드리기 시작했고, 정확히 여섯 번째에서 멈췄다. 덧셈뿐 아니라 날짜 계산, 시각 읽기 같은 문제까지 척척 맞혔다. 한스는 유럽의 명물이 되었다.

의심을 거둔 것은 심리학자 오스카 풍스트(Oskar Pfungst)였다. 그는 통제된 실험을 설계했다. 질문자가 정답을 모르거나, 한스가 질문자를 볼 수 없도록 가리면 한스의 정답률은 급격히 떨어졌다. 한스는 계산을 하고 있던 것이 아니었다. 발굽 두드림이 정답에 가까워질 때, 질문자가 자기도 모르게 내보내는 미세한 긴장과 자세 변화를 한스가 읽어 낸 것이었다. 정답 횟수에 도달하면 질문자의 몸이 무심코 풀어졌고, 한스는 그 순간 발을 멈췄다.

한스는 영리했다. 다만 영리함의 방향이 우리가 기대한 것과 달랐을 뿐이다. 겉으로 드러난 능력(산수)과 실제로 작동한 메커니즘(단서 읽기)이 완전히 어긋나 있었다. 그리고 바로 이 어긋남이, 한 세기 뒤 인공지능을 진단하는 핵심 개념이 된다.

02‘말(馬)’이라는 진단명

2014년, 음악정보검색(MIR, Music Information Retrieval) 연구자 밥 스텀(Bob Sturm)은 이 우화를 기계 학습에 그대로 가져왔다. 그는 어떤 시스템이 ‘말(horse)’이라고 불렀는데, 이는 비하가 아니라 진단명이다. 말이란, 어떤 과제를 푸는 것처럼 보이지만 실제로는 그 과제와 무관한 단서(교란 변수)에 기대어 정답을 맞히는 시스템을 가리킨다. 한스가 산수 대신 몸짓을 읽었듯, 이런 모델은 음악 대신 데이터에 우연히 섞여 든 흔적을 읽는다.

스텀의 표적은 음악 장르 분류기였다. 30초짜리 음원을 입력하면 블루스인지 레게인지 메탈인지 맞히는 모델들 말이다. 이 모델들은 벤치마크에서 사람에 버금가는 정확도를 보였고, 그래서 “음악을 이해한다”고 여겨졌다. 스텀의 검증은 단순했다. 그는 음원에 이퀄라이저(EQ) 필터나 짧은 지연(delay) 같은, 사람 귀에는 장르를 바꾸지 않는 변형을 가했다. 그러자 분류 결과가 뒤집혔다. 록 음악에 약간의 지연을 더했을 뿐인데 모델은 갑자기 레게라고 답했다.

이는 결정적 단서였다. 음악의 본질을 듣고 있었다면 이런 변형에 흔들릴 이유가 없다. 모델들은 ‘말’이었다. 다만 스텀의 방법은 한계가 있었다. 신호를 망가뜨려 모델을 헷갈리게 만들 수는 있었지만, 모델이 정확히 무엇을 단서로 삼았는지는 알려 주지 않았다. 그것이 왜 록을 레게로 만들었는지, 그 ‘왜’는 여전히 어둠 속이었다.

스텀이 이 경고를 던진 지 10여 년이 지났다. 그사이 모델은 훨씬 커졌지만, ‘말’의 문제는 나아지기는커녕 더 깊어졌다.

03‘왜’를 물으려면 인과가 필요하다

“무엇이 이 음악을 블루스로 분류하게 만들었는가”라는 물음에 답하려면 인과(causality)가 필요하다. 단순히 신호를 흐트러뜨리는 것을 넘어, 결과를 일으킨 원인을 짚어 내야 한다. 그러려면 먼저 소리를 다루기 좋은 형태로 바꿔야 한다.

소리는 시간에 따라 출렁이는 파동이다. 가로축은 시간, 세로축은 진폭(대략 음량)이다. 여기에 ‘푸리에 변환(Fourier Transform)’이라는 도구를 적용하면, 복잡하게 뒤엉킨 이 파형을 수많은 단순한 사인파의 합으로 분해할 수 있다. 각각의 사인파는 저마다 고유한 주파수(음높이)를 가진다. 분해 결과를 막대그래프처럼 늘어놓으면, 그 음원에 어떤 주파수가 얼마나 강하게 들어 있는지를 한눈에 보게 된다. 이것이 ‘주파수 스펙트럼’이다.

04신호의 인과적 해부

이제 본격적인 질문을 던질 수 있다. 모델이 어떤 음원을 ‘블루스’라고 판정했을 때, 그 판정을 일으키는 데 정말로 필요한 주파수는 무엇인가? 최근 연구(2026년 발표된 ‘I Guess That’s Why They Call it the Blues’와 그 도구 FreqReX)는 이를 인과 이론에 기대어 정밀하게 해부했다. 핵심은 ‘실제 인과(actual causality)’라는 개념으로, 이미 이미지 분류기를 설명하는 도구 ReX에서 검증된 접근을 소리로 옮긴 것이다.

걸림돌은 경우의 수다. 30초 음원을 주파수로 분해하면 약 24만 개의 주파수 구간(bin)이 나온다. 이 가운데 어떤 조합이 분류를 일으키는지 모든 경우를 다 시험하는 것은 불가능하다. 그래서 연구진은 ‘분할 정복(divide and conquer)’을 쓴다. 주파수 묶음을 큰 덩어리로 나눠 어느 덩어리가 필요한지 확인하고, 필요한 쪽만 다시 잘게 쪼개 들어가며 범위를 좁힌다. 그 결과 세 가지 의미 있는 신호가 추출된다.

• 충분 신호(sufficient). 이것만 모델에 넣어도 원래와 같은 라벨(블루스)이 나오는, 최소한의 주파수 묶음이다. 원음의 극히 일부에 불과할 수 있다.
• 완전 신호(complete). 충분하면서 동시에 ‘필요’하다. 즉 이것만으로도 블루스가 나오고, 반대로 이 부분을 제거하면 더는 블루스가 아니게 된다. 게다가 원음과 같은 확신도까지 재현한다. 모델이 생각하는 ‘블루스의 본질’에 가장 가까운 조각이다.
• 역 신호(inverse). 완전 신호를 빼고 남은 나머지다. 이 나머지를 다시 분류기에 넣으면, 원래와 다른 새로운 라벨이 튀어나온다.

05블루스를 추출하다

여기서부터가 인상적이다. 한 음원(아빠가 친 단순한 블루스 기타에 아들이 친 드럼이 얹힌, 누가 들어도 블루스인 연주)을 가지고 실험이 진행됐다.

먼저 충분 신호다. 모델이 여전히 블루스라고 답하는 최소한의 주파수만 남기자, 결과물은 사람 귀에 도무지 블루스로 들리지 않았다. 한 청취자는 “전기차가 저속으로 달릴 때 내는 인공 경고음 같다”고 표현했다. 그래도 모델에게는 이것으로 충분했다. 더 나아가, 블루스로 분류되는 충분 신호 100개를 한데 섞어도 결과는 또 블루스였다. 뒤죽박죽 뭉개진 그 소리를 두고 누군가는 “자궁 속에서 듣는 소리” 같다고 했다.

다음은 완전 신호를 제거한 ‘나머지(역 신호)’다. 흥미롭게도 이 나머지는 사람 귀에는 여전히 블루스에 가깝게 들렸다(베이스와 드럼이 살아 있었다). 그러나 모델은 이를 83%의 확신으로 ‘힙합’이라 답했다. 모델은 단지 분류만 바꾼 것이 아니라, 틀린 답을 꽤 자신 있게 내놓았다.

정리하면 이렇다. 블루스처럼 전혀 들리지 않는 소리를 모델은 블루스라 하고, 블루스처럼 들리는 소리를 모델은 힙합이라 한다. 사람의 귀와 모델의 판단은 같은 방향을 보고 있지 않았다. 모델은 음악을 듣는 것이 아니라 주파수의 통계적 흔적을 더듬고 있었다. 이른바 ‘지름길 학습(shortcut learning)’이다.

06음악만의 문제가 아니다

지름길 학습은 음악 분류기에 국한된 기벽이 아니다. 같은 함정이 영상 인식에서도 반복적으로 발견됐다. 한 유명한 사례에서는, 말(馬) 사진을 분류하도록 학습된 모델이 정작 말의 형태가 아니라 사진 구석에 찍힌 출처 워터마크를 보고 ‘말’이라고 답하고 있었다. 워터마크를 지우자 모델은 말을 알아보지 못했다. 모델은 ‘말을 인식하는 법’이 아니라 ‘그 데이터셋에서 말 사진에 워터마크가 붙어 있다는 사실’을 학습했던 것이다. 이것이 영상판 영리한 한스다.

오래전부터 회자되는 ‘탱크 탐지기’ 일화도 같은 구조다. 위장한 탱크를 가려내도록 학습시켰더니 모델 성능이 놀라웠는데, 알고 보니 탱크 사진은 맑은 날, 탱크 없는 사진은 흐린 날 찍혀 있었다. 모델이 학습한 것은 탱크가 아니라 하늘의 밝기였다. 입력에 사람 눈에 안 보일 만큼 미세한 잡음을 더해 분류를 통째로 뒤집는 ‘적대적 예제(adversarial example)’ 역시 같은 취약성의 다른 얼굴이다.

이 문제는 음악이나 이미지를 넘어 곧장 현실로 번진다. 금융 데이터나 기상 데이터처럼 분 단위·시간 단위로 출렁이는 신호를 다루는 모델도, 정작 중요한 추세가 아니라 데이터에 섞인 사소한 변동을 단서로 붙잡을 수 있다. 무엇을 단서로 삼았는지 들여다보지 않는 한, 높은 정확도는 안심의 근거가 되지 못한다.

07정확도는 충분하지 않다

이 모델들이 쓸모없다는 뜻은 아니다. 장르 분류기의 정확도 자체는 상당히 높다. 다만 그 정확도가 우리가 기대한 방식으로, 즉 인간이 이해하는 방식으로 작동해서 나온 것이 아니라는 점이 문제다. 정확도는 모델이 ‘옳은 답’을 냈는지는 알려 주지만, ‘옳은 이유로’ 그 답을 냈는지는 알려 주지 않는다.

스텀이 10여 년 전 던진 경고의 핵심이 여기에 있다. 벤치마크 점수만 좇는 평가 관행은 우리가 ‘해법’ 대신 ‘말’을 만들고, 다듬고, 자랑하게 만든다. 모델이 점점 커지고 정확해질수록, 그 안에서 무엇이 작동하는지는 더 알기 어려워진다. 인과적 해부 같은 도구가 중요한 이유는 분명하다. 그것은 모델이 틀렸을 때만이 아니라, 맞혔을 때조차 ‘왜 맞혔는지’를 의심하게 만들기 때문이다.

영리한 한스는 산수를 한 적이 없었다. 그럼에도 한 시대를 매혹했다. 오늘의 인공지능 앞에서 우리가 거듭 던져야 할 물음도 같다. 이것은 정말로 문제를 푸는가, 아니면 그저 우리가 무심코 흘린 단서를 영리하게 읽고 있을 뿐인가.