활성화함수

• The Perceptron • Neural Network Representation • Computational Graph Representation • Derivative of Neural Network 왼쪽의 고양이 이미지가 어떤 label에 속하는지 보는 작업이다. Image classification의 어려운 점들은 위와 같이 여러가지가 있다. 먼저, 고양이의 몸통과 배경의 색이 비슷하여 인식이 어려운 경우가 있다. 그리고 조명의 변화에 따라서도 인식하기가 어려울 수 있고 신체 일부가 가려짐으로써 구별하기 어려울 수 있다. 또한 대상이 여러마리로 같이 있을 경우에도 인식하기 어렵다. 위와 같이 이미지는 픽셀값으로 구성되어있다. 1998년 LeCun은 컨볼루션을 반복 수행하여 아웃풋을 도출한다...

활성화 함수 활성화 함수는 인공신경망에서 입력 값에 대해서 가중치를 곱한 뒤 적용하는 함수를 의미한다. 예를 들어, - 계단 함수(Step Function) - 시그모이드(Sigmoid) - tanh 함수(Hyperbolic tangent function) - ReLU(Rectified Linear Unit) - Leakly ReLU - PReLU - ELU(Exponential Linear Unit) - Maxout 함수 - 항등 함수(Identity Function) - 소프트맥스 함수(Softmax Function) 등이 있다. 신경망은 입력층, 은닉층, 출력층으로 구성되는데, 선형함수를 사용할 경우에는 은닉층을 사용할 수 X. 즉, 선형함수를 여러층으로 구성하더라도 결국은 선형함수를 그저 여러번 ..