6-4 Hopfield Network의 전기회로, GPU 및 5세대 칩의 AI 지원기능

압축적으로 표현된 Hopfield 네트워크 다이아그램만 보고서는 동그라미로 표현된 Unit의 역할을 이해하기 어려우므로 보다 위 그림에서 처럼 구체적으로 회로화해서 나타내어 보자.

오른쪽 회로의 Unit을 저항, 콘덴서 및 OP 앰프를 사용하여 더욱 구체화 해보자.

홉필드 모델의 Unit은 저항과 콘덴서 및 OP앰프를 사용하여 표현이 가능하며 네트워크 입력 위치에서 흘러들어 오거나 흘러나가는 전류의 합이 Kirchhoff 법칙에 의해 보존되어야 하므로 보존 방정식 수립이 가능하다. 이 회로에서 전반부에 연결된 3개의 저항들은 뉴론의 시냅스 역할을 담당한다. Gain 값을 가지는 OP 앰프는 증폭기로서 3개의 저항들을 통해 흘러들어 오는 전류 값을 대상으로 웨이팅 작업이 가능하다. 이때에 콘덴서 용량은 시간 변화에 따른 뉴론의 전기적 변화를 일으키게 된다. 즉 이회로는 생물학적 뉴론의 전기회로 표현에 해당하는 것이다.

머신 러닝의 역사를 조사해 보면 뉴럴 네트워크를 푸는 방법에서 현재 우리가 다루는 많은 소프트웨어적인 기법 말고도 하드웨어적으로 네트워크를 형성하여 푸는 일종의 뉴럴 컴퓨터 보드들이 1980년대부터 IBM을 비롯하여 많은 벤처기업들에 의해 제작되었다. 무래도 일반 CPU 상에서 실행되는 뉴럴 네트워크 소프트웨어 보다는 네트워크 전용 하드웨어 상에서 parallel computing 방식에 의해 보다 고속 컴퓨팅이 가능할 것이다. 물론 지금은 양자 컴퓨터를 연구하는 시대라 그러한 흔적들을 보기 어려운데 아마도 머신 러닝을 가속화하는 하드웨어 디바이스인 GPU 로 진화하지 않았나 추정해 보며 이미 출시된 퀄컴의 5새대 스마트폰 CPU 칩을 보더라도 이미 내부에 AI 컴퓨팅을 지원하기 위한 GPU 역할을 하는 하드웨어적인 디바이스를 내장하고 있음에 주목해 본다.