딥러닝 1단계 <활성화 함수>

<활성화 함수>

https://www.edwith.org/deeplearningai1/lecture/34824/

[LECTURE] 활성화 함수 : edwith

- 은닉층과 출력층에서 어떤 활성화 함수를 쓸지 선택

- sigmoid

- tanh : 쌍곡 탄젠트 함수, sigmoid 함수와 비슷하지만 원점을 지나고 비율이 달라짐

- 은닉 유닛에 대해 g(z^[1])을 tanh(z)로 놓는다면 거의 항상 sigmoid 함수보다 좋음(값이 +1과 -1 사이이기 때문에 평균값이 0에 더 가깝기 때문)(출력층은 예외)

- sigmoid 활성화 함수를 쓰는 한 가지 예외는 이진 분류를 할 때

-> 은닉층에는 tanh, 출력층에는 sigmoid 함수 사용

- sigmoid 함수와 tanh 함수의 단점 : z가 굉장히 크거나 작으면 함수의 도함수가 굉장히 작아진다는 것 (z가 크거나 작으면 함수의 기울기가 0에 가까워지고 경사 하강법이 느려질 수 있음)

- ReLU : 정류 선형 유닛, z가 양수이면 도함수 1, 음수이면 도함수 0

 

- 이진 분류의 출력층에는 sigmoid 함수를, 다른 경우에는 ReLU가 활성화 함수로 많이 사용됨

 

- ReLU, leaky ReLU 함수의 장점 : 대부분의 z에 대해 기울기가 0과 매우 다르다는 것

- ReLU 함수의 단점 : z가 음수일 때 도함수가 0이라는 것

- leaky ReLU : z가 음수일 때 약간의 기울기를 줌

 

- sigmoid나 tanh 대신 ReLU 함수를 쓴다면 신경망 학습 더 빠르게 할 수 있음

- 학습을 느리게 하는 원인 : 함수의 기울기가 0에 가까워 지는 것