tensorflow로 딥러닝 교육

urobotics (62)in #kr • 6 years ago

안녕하세요. @u robotics입니다.
오늘부터 금요일까지 tensorflow 강의를 듣습니다.

그냥 한 번 들어보지 라는 생각으로 넣었는데요.
시험도 무려 20분만에 아는 것만 대략 때려넣었는데 붙었습니다.

그래서 오늘 교육을 갔는데
ㅇ_ㅇ 생각보다 사람들이 너무 똑똑해보여서 놀랐습니다.

아는 분이랑 인사하는데
그 분이 오늘은 다 에이스들만 왔네.
무슨 교육이야? 하고 물어보셔서 놀랬습니다.

다들 그런거 느끼는 거 같아요. ㅎㅎㅎㅎ

tensorflow는 구글에서 개방한 기계학습 오픈소스 프로그램인데요.
일반인?? 도 사용하기 쉽습니다. ㅎㅎㅎㅎ (멘트 출처. 나무위키)
https://www.tensorflow.org/

CNN, RNN 이란 말을 많이 들어서 궁금해서 검색해봤어요.

CNN. 1989년 인간의 시신경 구조를 모방해 만들어진 인공신경망 알고리즘. 다수의 Convolutional Layer(이떄의 작은 행렬을 필터라 부른다)으로 부터 특징맵(Feature map)을 추출하고 서브샘플링(Subsampling)을 통해 차원을 축소하여 이미지를 단순화 시킨 후 마지막 레이어에 완전 연결 계층 (Fully connected Layer)으로 이전 레이어의 처리결과를 연결하여 이미지를 분류한다. 이미지 분류에 유용하며, 이미지 외에도 사용할 수 있다.

CNN은 결국 사람 '눈' 이네요. 이미지 분류를 주로 하는 모양입니다. 이미지 분류는 개와 고양이를 구분하는 것이 가장 유명한 사례죠.

RNN. 뉴런의 출력이 다시 입력으로 feedback되는 재귀적인 연결 구조를 갖는 신경망. 다층 퍼셉트론 신경망은 입력이 출력 방향으로만 활성화되고 은닉 뉴런이 과거의 정보를 기억하지 못한다는 단점이 있다. 이러면 입력이 들어온 문맥을 기억할 수 없다. 이런 단점은 시계열분석[6] 관련 문제에서 매우 해롭다. RNN은 이런 단점을 해결했다.

앞에서 무슨 단어가 나왔는지의 문맥이 다음에 나올 단어를 예측(prediction)하는 문제를 푸는 데 유용하다. 이런 문제에는 음성 인식, 필기체 인식, 텍스처 인식이 있다. 또 분류에도 유용하다. 언어 모델은 말뭉치를 이용한 기계 번역에 도움이 되었다.

기존의 DNN(Deep Neural Networks)의 경우 각 layer마다 parameter들이 독립적이었으나, RNN은 이를 공유하고 있다. 따라서 현재의 출력 결과는 이전 time step의 결과에 영향을 받으며, hidden layer는 일종의 메모리 역할을 하게 된다.

RNN의 기본적 작동원리는 ht = g1 ( xtU + Wht-1 + bx), ot = g2 (Vht+bh) 이다.
g1 g2 : 비선형 활성화 함수 (Sigmoid, tanh 등)
xt: 입력값
ht: t(시간)단계의 은닉변수 (hidden state)
ot: t(시간)단계의 출력값
b: 편향 (bias)
UVW: xt ht ht-1의 가중치 (weight)
위 식에서 입력 X = (x1 , x2 , x3 , ... , xn)이 입력되면 ot가 출력된다.

변종으로 Bi-directional RNN이 있다. 이 모델은 과거 및 미래 상태도 반영한다. 언어 모델링을 할 때 앞뒤 단어를 모두 고려하게 되므로 정확성이 높아진다. 하지만 학습이 오랫동안 진행지면서 초기 학습이 잊혀질 단점이 있다.

하지만 전통적인 RNN 모형 및 Bi-directional RNN의 경우 Vanishing gradient problem을 지닌다