지금까지 인공지능의 눈부신 발전은 뇌의 작동방식에 대한 신경과학의 연구 성과에서 큰 도움을 받았다. 신경세포가 다른 신경세포와 어떻게 정보를 주고받는 지, 그리고 시냅스 연결 강도의 변화로 학습이 어떻게 구현되는 지에 대한 신경과학의 지식으로 인공지능을 구현할 수 있게 되었다.
입력층에서 출력층 방향으로의 순방향(forward) 정보 전달은 인공지능이나 뇌나 거의 비슷한 방식으로 이루어질 수 있다. 하지만, 그 반대 방향으로 오류 정보가 전달되며 이루어지는 인공지능의 역전파 학습을 살아있는 뇌가 같은 방식으로 이용하고 있을 리는 없다는 것이 많은 과학자의 확신이다.
역전파 학습의 첫 번째 문제는 바로, 실제 신경세포 사이의 정보 전달이 방향성을 가지고 있다는 데에 있다. 입력층에서 출력층으로 정보가 전달되는 것은 아무런 문제가 없지만, 출력층의 신경세포에서 입력층의 신경세포로 오류의 정보가 살아있는 뇌에서 전달되기는 어렵다. 정보는 시냅스 앞 신경세포에서 시냅스 뒤 신경세포로 전달될 수 있을 뿐, 같은 시냅스 연결을 통해서 거꾸로 정보가 전달될 수는 없기 때문이다.
다른 심각한 문제도 있다. 미분의 연쇄법칙으로 유도한 인공지능의 역전파 학습과정의 수학적 형태를 보면, 학습 과정에 관여하는 정보가 국소적(local)이지 않다는 문제다. 살아있는 뇌 안의 특정한 하나의 시냅스 연결의 강도 변화는 그 시냅스 주변의 국소적인 정보에 의해서만 이루어지리라는 것이 합리적인 추론이다.
현재 인공지능에 구현된 역전파 학습은 직접 연결되지 않은 수많은 다른 시냅스의 정보를 이용해 한 시냅스의 강도 변화가 일어나는 형태다. 자신과 직접 연결된 가지 돌기의 시냅스 연결 정보를 넘어서 저 멀리 다른 신경세포의 시냅스 정보를 신경세포가 받아들일 수 있는 생물학적인 메커니즘은 전혀 존재하지 않는다. 생물학이 알려준 사실에 위배되지 않으면서도 인공지능의 역전파 학습을 대체할 수 있는 학습 방법은 어떤 것일까?
순방향 정보 전달은 기존 인공지능과 같은 방식을 따르지만, 역방향 오류 정보 전달의 단계에서 어떤 정보도 담고 있을 수 없는 마구잡이 시냅스 연결 행렬을 이용해도 학습이 가능하다는 것을 보인 연구가 있다. 시냅스 연결 정보의 비국소적 역방향 전달을 가정하지 않고도 인공지능을 학습시킬 수 있다는 것을 보인 흥미로운 결과다.
내부의 노드들이 서로 양방향으로 정보를 주고받을 수 있도록 순환 연결망(recurrent network)을 구성하고 이를 입력층과 출력층에 연결한 구조를 연구한 논문도 있다. 이렇게 구성된 순환 연결망은 시간이 지나 결국 평형상태에 도달해 정보를 출력한다. 출력 정보를 정답 정보와 비교해 변형된 출력 정보를 순환 연결망에 거꾸로 다시 입력하면, 순환 연결망은 시간이 지나 또 다른 평형상태에 도달하게 된다. 이 과정을 여러 번 반복하면, 효율은 역전파 학습에 미치지 못해도 인공지능을 학습시키는 것이 가능하다는 것을 밝힌 연구다.
뇌는 끊임없이 미래를 예측하고 예측에 기반 해 현재 상태를 수정하는 활동을 계속해서 이어가고 있다. 우리 뇌는 기대하는 결과를 가지고 미리 입력 정보를 예측하는 과정을 통해 정보를 효율적으로 처리하기도 한다. 보고나서 아는 것도 많지만, 알아야 보이는 것도 많다는 이야기와 비슷하다.
예측 코딩(predictive coding)이라 불리는 최근 제안된 인공지능 분야의 학습도 비슷한 방식을 활용한다. 입력에서 출력층의 방향으로 여러 은닉층을 거쳐서 정보가 전달되는 것은 표준적인 인공지능 신경망과 마찬가지이지만, n+1번째 층이 n번째 층에 기대하는 입력을 실제 n번째 층의 정보와 비교하는 방식을 이용한다는 것이 다른 점이다. 오류의 정보가 역방향으로 전달된다는 점은 표준적인 역전파 학습과 다르지 않지만, 인접한 두 층의 정보에만 오류의 값이 의존해 국소적인 정보만을 이용한다는 면에서 생물학적 개연성이 있는 학습 방법이다.
대뇌 피질에 가장 많이 들어있는 신경세포가 바로 피라미드 신경세포다. 피라미드 신경세포에는 두 종류의 가지 돌기가 있다. 똑바로 선 피라미드를 옆에서 본 삼각형을 떠올려보라. 피라미드 신경세포는 하늘을 향한 꼭짓점에서 뻗은 가지 돌기와 지면에 놓인 두 꼭짓점에서 옆으로 뻗은 가지 돌기를 통해 서로 성격이 다른 입력 정보를 받아들인다고 한다.
한편, 표준적인 인공지능에 널리 이용되는 인공 신경 세포가 여러 시냅스 연결을 통해 받아들이는 입력 정보는 질적으로 다른 정보가 아니다. 실제의 뇌 피질에 많이 존재하는 피라미드 신경세포의 구조에 착안해 인공신경망의 노드가 질적으로 다른 종류의 입력을 받아들이는 방식으로 인공지능을 확장하는 시도가 이루어지고 있다.
표준적인 인공신경망에서는 순방향의 정보 전달과 역방향의 오류 전달이 같은 시냅스 연결 행렬로 이루어지는데, 피라미드 신경세포의 구조에 착안한 새로운 방식에서는 오류의 정보가 입력되는 연결 행렬과 순방향으로 정보가 입력되는 연결 행렬을 다르게 사용하게 된다.
이글을 쓰면서 <퀀타매거진>의 기사(https://www.quantamagazine.org/artificial-neural-nets-finally-yield-clues-to-how-brains-learn-20210218/)를 주로 참고했음을 밝힌다. 현재 역전파 학습의 생물학적 비현실성을 극복하면서도 이에 필적하는 학습 효율을 보일 수 있는 여러 연구가 활발히 진행되고 있다. 인공지능의 전문가라고 할 수 없는 필자의 입장에서도 무척이나 흥미진진한 연구들이다.
과연 우리 뇌의 학습은 어떤 방식으로 이루어지는 것일까? 뇌의 작동방식으로부터 배워 인공지능을 만든 인간이 이제는 인공지능으로부터 우리 뇌에 대해 물을 수 있는 새로운 질문을 배운 셈이다. 어쩌면 이렇게 이어진 고민으로 더 잘 알게 된 우리의 뇌로부터 미래의 인공지능을 더 발전시킬 수 있는 지식이 탄생할 여지도 있다.
살아있는 뇌와 인공지능이 서로 상대를 배워가는 재귀적 반복과정으로 수렴하게 될 미래의 인공지능은 어떤 모습일까? 뇌가 뇌로 배워 만든 인공뇌가 다시 알려줄 뇌의 모습이 나의 뇌는 벌써 궁금하다.
