인공지능이 그린 ‘하늘을 나는 물고기’ [김범준의 세상물정]
상태바
인공지능이 그린 ‘하늘을 나는 물고기’ [김범준의 세상물정]
  • 김범준 편집위원(성균관대 교수)
  • 승인 2023.03.26 16:44
  • 댓글 0
이 기사를 공유합니다

필자의 전공 분야는 통계물리학이다. 뭉뚱그려 얘기하면, 많은 구성요소들이 상호작용할 때 전체가 보여주는 특성이 어떤 것인지를 주로 연구하는 분야다. 20세기 후반 통계물리학 분야에서 인공지능에 대한 연구가 큰 관심을 끈 적이 있다. 뇌 안 시냅스라는 구조를 통해 연결된 여러 신경세포를 흉내 내는 신경과학의 단순한 한 이론 모형이 여러 스핀들로 이루어진 물리학 모형과 동등하다는 것이 알려졌다. 막대자석과 같은 강자성체는 스핀을 가진 여러 원자들로 이루어져있다. 자성체 모형의 스핀 사이의 상호작용을 체계적으로 조절하면, 에너지가 가장 낮은 바닥상태를 찾는 물리학의 문제가 신경과학 모형의 패턴 인식 과정에 정확히 대응하게 된다. 예를 들어 정확한 A, B, C 등 여러 알파벳의 모양을 미리 인공신경망에 학습시키고, 사람마다 다른 알파벳 손 글씨를 보여주면, 이 손 글씨가 어떤 알파벳에 해당하는 지를 인공신경망이 알려주는 식이다. 물리학자에게 익숙한 에너지 바닥상태를 찾는 일을 컴퓨터 프로그램이 수행하지만, 그 결과로 삐뚤삐뚤 손 글씨가 어떤 알파벳인지 알려준다. 인공지능의 과거 발전에 통계물리학이 기여한 바가 적지 않다.

요즘 인공지능의 발달은 정말 눈부시다. 하늘을 나는 물고기 그림을 만들어달라고 해도 그럴듯한 이미지를 생성하는 인공지능 프로그램도 여럿 있다. 이러한 이미지 생성 인공지능 알고리즘을 확산 모형(diffusion model)이라 부른다. 왜 확산 모형이라고 부를까?

통계물리학 분야에서 확산 현상은 널리 연구되는 주제다. 집 한 구석에 놓인 맛있는 라면 냄새가 집안 전체로 퍼지는 것도 확산이다. 물에 작은 잉크 방울을 떨어뜨리면 확산현상을 눈으로 직접 볼 수도 있다. 처음 작은 부피 안에 모여 있던 잉크 입자들은 시간이 지나면서 물 전체에 고르게 퍼진다. 잉크 방울 속 작은 입자 하나를 현미경으로 보고 있다고 생각해보자. 이 잉크 입자는 주변 물 분자와 끊임없이 상호작용하면서 삐뚤삐뚤 이리저리 움직인다. 바로 식물학자 브라운이 현미경으로 본 꽃가루 입자에서 관찰한 운동이다. 브라운 운동을 하는 입자를 브라운 입자라고 하고 이 입자의 운동을 기술하는 방정식을 랑주뱅 방정식이라고 한다. 브라운 입자가 느끼는 힘은 두 종류다. 먼저, 중력장안에서 물체가 중력에 의한 퍼텐셜 에너지가 줄어드는 아래 방향으로 움직이는 것처럼, 브라운 입자도 퍼텐셜에너지의 차이로 발생하는 힘을 느낀다. 두 번째는 브라운 입자 주변 여러 작은 분자들이 이리저리 충돌해 발생하는 마구잡이 힘이다. 온도가 올라가면 마구잡이 힘의 영향이 더 커지고, 온도가 내려가면 그 효과가 줄어든다. 아주 낮은 온도에서는 브라운 입자는 삐뚤삐뚤 움직이지 않고 퍼텐셜 에너지가 최소인 위치에 계속 머물게 된다. 주어진 온도에서 시간이 흐르면 브라운 입자는 결국 평형상태에 도달하게 되고, 평형상태에서 브라운 입자의 위치는 통계물리학의 볼츠만 확률 분포로 기술된다. 요즘 각광받고 있는 인공지능의 확산 모형을 처음 제안한 과학자는 그 아이디어를 비평형 통계물리학의 확산 현상에서 얻었다.

화면 위에 나란히 놓인 각각 흰색과 빨간색인 작은 두 점(픽셀)을 떠올려 보자. 픽셀의 색은 숫자 하나로 표시할 수 있다. 1.0이면 흰색, 0.5면 빨강색, 0.0이면 검은색처럼 말이다. 첫 번째 픽셀의 색 정보를 x축으로, 두 번째 픽셀의 색 정보를 y축으로 하면, 흰색과 빨간색의 두 픽셀은 두 축을 가진 2차원 좌표평면위에서 (1.0, 0.5)의 위치에 찍힌 한 점으로 표시된다. 만약 검은색 픽셀이 하나 더 추가되어 모두 세 개의 픽셀이 있다면 이제 (1.0, 0.5, 0.0)의 세 숫자로 적을 수 있어 3차원 공간 안에 놓인 점 하나로 전체 세 픽셀의 정보가 표현된다. 통계물리학에서는 세 픽셀의 정보가 위치로 표현되는 이런 공간을 배위공간 혹은 짜임새공간 (configuration space)이라고 한다. 조금만 생각을 이어가면 모두 N개의 픽셀로 구성되어 있는 한 장의 사진 이미지가 있다면, 이 한 장의 이미지 전체는 N차원 배위공간 안에서 딱 하나의 위치에 찍힌 점 하나로 표현된다. 만약 백만 개의 픽셀로 구성된 이미지가 하나 있다면 이 이미지에 담긴 모든 정보는 백만 차원 공간 안에 놓인 점 하나에 대응한다. 사진 하나가 확산 모형의 브라운 입자 하나다. 모나리자 그림이든 내가 찍은 풍경 사진이든, 사진 한 장에 점 하나.

인공지능의 확산 모형에서는 하나가 아닌 많은 수의 이미지를 학습 데이터로 이용한다. 백만 개의 픽셀로 구성되어 있는 M개의 그림은 결국 백만 차원 공간 여기저기에 찍힌 M개의 점이 된다. 우리 사는 공간은 삼차원이어서 백만 차원 공간을 그려 눈으로 볼 수는 없다. 하지만, 수학적으로 상상할 수는 있다. 이 공간 안에 M개의 점으로 표현된 모든 학습 데이터는 공간 안에 고르게 퍼져있지 않다. 점들이 오밀조밀 더 많이 모여 있는 곳도 넓게 퍼져 드문드문 점들이 놓인 곳도 있다. 학습 데이터가 배위공간 안에서 어떤 방식으로 분포하는 지는 확률 분포함수로 기술할 수 있다. 점들이 바글바글 모여 있는 곳에서 확률 분포함수가 더 크다.

인공 지능의 확산 모형은 두 단계로 구성된다. 첫 단계는 배위공간 안에 놓인 많은 학습 데이터를 기술하는 확률분포를 노이즈(잡음)의 크기를 늘려가면서 구하는 과정이다. 점점 노이즈의 크기를 늘리면서 브라운 입자의 운동방정식을 컴퓨터로 풀어 데이터로부터 확률분포를 구하면 그 모습이 점점 부드러워진다. 노이즈가 아주 커지면 모나리자 그림이든 내가 찍은 풍경사진이든, 모든 학습데이터를 기술하는 확률분포는 통계학의 정규 확률분포에 수렴한다. 높은 차원 공간에 놓인 둥근 공 모양을 떠올리면 된다. 이때 원래의 학습 데이터 이미지에 담긴 정보는 모두 사라져 노이즈만 들어있게 된다. 아주 높은 온도일 때의 통계물리학의 최대 엔트로피 상태에 해당한다. 노이즈를 늘려가면서 처음의 학습 데이터에 담긴 정보가 조금씩 사라지는 이 과정에서, 노이즈를 조금 더 넣은 후의 확률분포는 바로 전의 확률분포로부터 얻어진다. 확산 모형에서는 현 단계의 데이터로부터 노이즈가 조금 적은 바로 이전 단계의 데이터를 거꾸로 만들어내도록 인공지능 분야의 표준적인 방법으로 인공신경망을 학습시키게 된다. 여기까지의 확산 모형 학습단계가 끝나면, 이제 다음은 바로 새로운 그림을 만들어내는 생성과정이다.

확산 모형과 같은 인공지능을 생성모형이라고 한다. 가르쳐준 것들을 모아서 새로운 무언가를 생성해낼 수 있는 인공지능이다. 자, 이제 위에서 설명한 학습단계에 이어서 생성단계 얘기를 해보자. 생성단계에서는 거꾸로 배위공간 안에서 노이즈가 잔뜩 들어있어 둥근 공 모습으로 바뀐 확률분포에서 출발한다. 그리고는 첫 단계에서 학습시킨 인공신경망을 이용해서 노이즈를 거꾸로 조금씩 줄여가는 과정을 이어간다. 노이즈의 세기가 주어진 상황에서 통계물리학의 브라운 입자의 운동방정식을 배위공간의 한 점에 적용하는데, 물리학에서 퍼텐셜에너지가 줄어드는 방향으로 입자가 힘을 받아 움직이는 것처럼, 퍼텐셜에너지에 해당하는 양으로 브라운 입자가 얼마나 충실하게 우리가 준 조건을 만족하는 확률분포를 따르는 지를 재는 양을 이용하게 된다. 이 방식으로 계속 노이즈를 줄이면서 백만 차원 공간 안의 점 하나인 브라운 입자의 운동을 계속 이어간다. 마지막 단계에서 노이즈를 모두 없애면 이제 인공지능 확산 모형은 학습 단계에서 배운 확률분포에 기반 했지만 학습 데이터에 들어있지 않았던 그럴듯한 새로운 이미지를 만들어낼 수 있게 된다. 인공지능 분야에서 요즘 큰 주목을 끌고 있는 확산 모형은 이처럼 비평형 통계물리학의 확산 현상이 그 출발점이다. 학습단계에서는 온도를 올리면서 브라운 입자의 운동을 학습하고 생성단계에서는 온도를 내리면서 브라운 입자의 운동을 생성한다.

오늘 글에서는 인공지능의 확산 모형의 대충의 얼개를 물리학자인 내가 이해한 거친 수준에서 설명해보았다. 비평통계물리학의 브라운 입자의 확산 운동에서 요즘 각광받고 있는 인공지능 생성 모형 중 하나인 확산 모형이 시작되었다는 것이 인상 깊었다. 꼭 물리학일 필요는 없다. 빠르게 발전하고 있는 인공 지능 분야에서 새로운 도약을 만들어내려면 여러 기초과학에 대한 깊은 이해가 큰 도움이 될 수 있다. 인공지능의 확산 모형이 멋지게 만들어낸 하늘을 나는 물고기의 모습은 통계물리학의 브라운 입자의 마구잡이 운동이 만들어내는 궤적의 결과다. 백만 차원 공간 안에서 이리저리 움찔움찔 움직이는 꽃가루 입자 하나가 낮은 온도에서 도착한 곳에 이 그림이 있다.

 


관련기사

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.
주요기사