딥러닝 1단계 <왜 비선형 활성화 함수를 써야할까요?>

<왜 비선형 활성화 함수를 써야할까요?>

https://www.edwith.org/deeplearningai1/lecture/34825/

[LECTURE] 왜 비선형 활성화 함수를 써야할까요? : edwith

- 선형 활성화 함수나 항등 활성화 함수를 쓴다면 신경망은 입력의 선형식만을 출력

- 층이 얼마나 많든 간에 신경망은 선형 활성화 함수만 계산하기 때문에 은닉층이 없는 것과 다름 없음

- 두 선형 함수의 조합은 하나의 선형 함수가 됨

- 선형 활성화 함수를 사용할 수 있는 건 대부분 출력층

 

선형 활성화 함수로 이루어진 노드와 레이어를 여러개 쌓더라도 하나의 레이어와 하나의 노드로 이루어진 신경망을 구성한 것과 같아진다는 것 같아요. 결국엔 여러층을 쌓고 여러 노드로 이루어진 신경망에서 기대하는 만큼의 결과를 얻을 수 없는거죠. 아무리 쌓아도 한나의 노드와 레이어로 이루어진 신경망과 같은 결과를 도출하게 될테니깐요.