2-1 머신 러닝 Softmax와 볼츠만 확률분포와의 Analogy-I

볼츠만의 통계역학의 출발점은 제한된 용기 부피내의 identical 하면서 distinguishable 한 입자들의 있을 법한(probable) 확률적 역학 상태를 알아내는 일이다. 이미 6개의 입자 문제에서 다루었듯이 identical 하면서 distinguishable 한 조건을 적용하여 1,287개의 microstate 가 가능함을 보았다. 그렇다면 볼츠만의 통계역학에서 사용된 파라메터들에 비추어 MNIST hand written digits 문제에서도 analogy(유사성) 가 성립할 수 있을까?

MNIST 수기문자 이미지 처리 머신 러닝 코드에 차용하여 적용하는 Softmax와 볼츠만 확률 분포간의 analogy에 대해 알아보자. MNIST 이미지 데이터는 28X28 = 784개 픽셀로 이루어지며 랜덤한 각각의 픽셀 값은 0∼255 사이의 양의 값을 가지는데, 웨이트 매트릭스(W)를 사용하여 볼츠만 분포에서의 에너지 레벨 Ei 에 해당하는 일종의 Hypothesis 레벨을 생성할 수 있다. 볼츠만의 확률 분포를 설명하기 위해 언급했던 N=6 인 입자 통계의 경우 에너지 레벨이 9개로 이루어졌으나 MNIST에서는 0∼9까지의 10개 클라스에 해당하는 수기숫자를 인식하려면 다음과 같이 one hot code를 사용하여 10개 레벨이 구성이 된다. one hot code에서 10 자리 수 값을 다 더하면 항상 1.0이 되므로 확률적인 면을 포함하고 있음에 유의하자. 문자 인식 문제에서는 클라스의 수와 one hot code 레벨 수의 값이 항상 같아지게 됨에 유의하자.

다음의 MNIST 샘플들을 살펴보자. 0∼9 사이의 10개의 클라스 중 5종류의 MNIST hand written digits 들이다. 학습용 MNIST 샘플은 각 클라스별로 5500개 규모이다. 첫 번째 클라스 0의 경우 수기 숫자인 점을 감안하면 샘플링하기에 따라 얼마든지 많은 샘플을 얻을 수 있다.

클라스가 다같이 0 이란 것은 identical 하다는 것을 의미하는데 필요한 만큼 많은 양의 샘플링이 가능하지만 그 수기 숫자들이 서로 차이점이 있어 즉 distinguishable 하여 쉽게 구별이 가능하다.

이 MNIST 이미지 데이터에서 identical 하면서 distinguishable 하다는 전제 조건을 사용하여 볼츠만 확률 분포와의 anlogy(유사성)을 고려하여 Softmax 표현식을 유도해 보기로 하자.