우리 뇌는 수많은 신경세포의 발화로 정보를 처리한다. 신경세포가 어떤 방식으로 연결되어 어떻게 서로 전기신호를 주고받는지에 대한 신경과학의 오랜 연구 성과가 요즘 큰 관심을 끌고 있는 인공지능의 발전을 꾸준히 견인해왔다. 최근의 인공지능은 서로 복잡하게 연결되어 있는 신경세포를 컴퓨터를 이용해 프로그램으로 구현하는 방식을 따른다. 여러 점(노드, node)을 선(링크, link)으로 얼키설키 복잡하게 이은 것이 연결망(network)이다.
신경세포 하나하나는 연결망의 노드에, 두 신경세포 사이의 시냅스 연결은 연결망의 링크에 해당한다. 각각의 시냅스 연결이 얼마나 강한지는 링크에 부여된 가중치(weight)로 표현되어서, 인공지능신경망 안의 모든 연결은 방향과 가중치가 있는 연결망(directed and weighted network)으로 구현된다. 실제의 신경세포가 시냅스 연결을 통해 정보를 교환한다면, 인공지능의 인공신경세포 노드는 행렬의 가중치를 통해 정보를 주고받는다.
지난 글에서 신경세포 하나의 발화(firing)를 기술하는 간단한 수학 모형인 맥클럭-피츠 모형을 소개했다. 신경세포 하나에는 입력 쪽 여러 신경세포의 발화 정보가 시냅스 연결의 강도를 반영해 들어오는데, 이를 모두 더한 값이 신경세포의 발화 문턱 값보다 크면 신경세포가 발화한다는 모형이다.
맥클럭-피츠 모형 신경세포의 작동방식을 현재의 인공지능신경망이 정확히 똑같이 따르는 것은 아니다. 모 아니면 도처럼, 문턱 값보다 입력의 총합이 더 큰지, 작은지에 따라 계단모양으로 0또는 1, 딱 두 종류의 출력을 만드는 맥클럭-피츠 모형의 방식을 일반화해서, 인공신경세포 노드의 상태를 표시하는 값이 연속적으로 변할 수 있는 방식을 이용한다.
출력 노드의 활성을 정해주는 함수를 활성화함수(activation function)라 부른다. 맥클럭-피츠 모형의 활성화함수가 계단모양이라면, 요즘의 인공지능은 다양한 형태의 활성화함수를 상황에 따라 적절히 선택해 이용한다. 다른 차이도 있다. 입력과 출력의 두 그룹으로 인공신경세포를 구분하지 않는 맥클럭-피츠 모형과 달리, 요즘 대개의 인공신경망은 정보의 흐름이 입력 층에서 출력 층의 방향으로 한쪽으로 흐르는 구조를 널리 이용한다. 맥클럭-피츠 모형의 신경세포가 따르는 수식과 요즘 인공신경망의 노드가 따르는 수식은 각각 다음과 같다. 거의 같은 꼴이다.
요즘 인공지능의 눈부신 성취는 과거 발전을 가로 막고 있던 문제를 해결한 결정적 돌파구의 발견으로 가능해진 일이다. 가장 중요한 연구결과로 꼽을 수 있는 것이 둘 있다. 입력층과 출력층 사이에 숨겨진 은닉층을 추가하면 인공지능이 일반적인 문제를 해결할 수 있다는 다층 신경망 구조의 발견, 그리고 이렇게 여러 층으로 이루어진 인공신경망 전체를 원하는 결과가 나오도록 가르치는 역전파(back propagation) 학습의 발견이다.
요즘 각광을 받고 있는 딥러닝의 성공은 이에 더해서, 효율적인 학습이 가능한 활성화함수를 발견한 것, 그리고 빠르게 발전한 컴퓨터와 데이터처리 기술 덕분이다. 다층 연결망의 역전파 학습을 알아내지 못했다면 현재의 딥러닝도 불가능했다.
인공신경망의 학습 과정을 두 부분으로 나눌 수 있다. 먼저, 입력층에서 은닉층을 거쳐 출력층을 향하는 순방향(forward)의 정보 전달이다. 한 층에서 다음 층으로 정보가 전달될 때에는 두 층을 연결하는 행렬을 이용한다. 순방향의 정보 전달로 마지막 출력층에서 신경망이 최종적으로 출력한 정보가 우리가 원하는 정답 정보와 얼마나 다른지, 둘 사이의 차이인 오차를 측정할 수 있다.
실제 뇌의 학습이 신경세포 사이의 시냅스 연결 강도의 변화로 이루어지듯이, 인공신경망의 학습도 여러 층을 연결하는 여러 가중치 행렬 요소의 값을 조정하는 것으로 구현된다. 역전파 학습의 두 번째 단계는, 출력층의 오차를 줄이는 방향으로 출력층 바로 앞 은닉층 사이의 가중치 행렬을 조절하고, 그 다음에는 연이어 그 앞 은닉층을 연결하는 행렬의 가중치를 조절하는 방식을 이용하게 된다. 즉, 순방향 정보 전달이 n번째 층에서 n+1번째 층으로의 방향이라면, 학습의 과정에서는 n번째 층에서 n-1번째 층 방향으로 오차가 거꾸로 연이어 전달된다.
정보는 순방향으로 오차는 역방향으로 흐른다는 말이다. 이 방법을 역전파 학습이라고 부르는 이유다. 왜 하필 신경망의 학습이 이처럼 역방향으로 일어나는지는 고등학교에서도 배우는 미분의 연쇄법칙을 적용해보면 쉽게 이해할 수 있다. 행렬과 벡터, 그리고 함수와 미분만 알아도 현대 인공신경망이 작동하는 대강의 얼개를 이해할 수 있다.
지금까지 오랫동안 신경과학에서 뇌의 작동방식을 배워 인공지능을 구현할 수 있게 되었지만, 요즘의 인공지능의 구현은 실제 뇌의 작동방식을 정확히 따르는 것이 아니다. 특히 문제가 되는 것이 바로 인공신경망 학습의 역전파 과정이다. 입력층, 은닉층, 출력층으로 뚜렷이 구분하기 어려운 현실의 뇌는 정보의 전달 방식도 이제 다층 인공신경망과 다르며, 우리 사람의 뇌가 오류의 역전파를 이용해서 시냅스 연결 강도를 조정한다는 것도 비현실적이다.
신경과학에서 출발해 놀랍게 발전한 인공신경망의 구현 방식이 이제는 더 이상 현실의 뇌를 닮지 않은 시점에 이미 도달했다. 둘의 차이가 실재하며, 굳이 인공지능의 현재 작동 방식이 지구 위 현실 생명체의 뇌의 작동방식을 닮을 필요는 전혀 없다는 이야기도 가능하다. 하지만, 다른 가능성도 있다. 살아있는 뇌와 실리콘 칩으로 구현된 인공 뇌가 보여주는 지금의 차이가 어쩌면 우리가 아직 우리 머릿속 뇌의 작동을 제대로 이해하지 못하고 있기 때문일 수도 있다.
신경과학이 알려준 인공지능이 이 글의 주제였다면, 다음 글에서는 인공지능에서 우리가 우리의 뇌에 대해서 무엇을 배울 수 있을지에 대한 요즘의 연구를 소개할 계획이다.
