개발자가 될래요

https://www.edwith.org/deeplearningai2/lecture/34870/ [LECTURE] 지역 최적값 문제 : edwith 학습목표 지역 최적값과 최적화 문제를 소개한다. 핵심키워드 지역 최적값(local optima) 최적화 문제(optimization problem) 안장점(saddle point)... - 커넥트재단 www.edwith.org - 사람들은 지역 최적값에 대해 고민할 때 왼쪽 그림을 생각한다. - w_1과 w_2라는 매개변수를 최적화한다고 할 때 이 면적의 높이가 비용 함수가 된다. - 이 그림에서는 지역 최적값이 많아 보인다. - 이런 곳들에서 경사하강법 등의 알고리즘이 전역 최적값에 도달하기 전 지역 최적값에 갇혀버리기 십상이다. - 이렇게 2차원에서 그림..

https://www.edwith.org/deeplearningai2/lecture/34868/ [LECTURE] Softmax Regression : edwith 학습목표 여러 클래스가 분류시 사용하는 Softmax 를 배운다. 핵심키워드 Softmax - 커넥트재단 www.edwith.org - 지금까지 우리가 봤던 분류 문제는 이진 분류 (0과 1의 두 가지 선택) - 여러 가지의 선택지가 주어진다면? - 로지스틱 회귀를 일반화한 소프트맥스 회귀 -> 여러 클래스나 c 중 하나를 인식할 때 예측에 사용할 수 있다. - 대문자 C는 클래스의 숫자를 나타내는 데 사용할 것. 입력값을 분류. - 아무것도 아닌 경우를 포함하여 현재 예시에서는 4개의 클래스가 있다. - 만약 클래스에 숫자를 부여한다면 0에..

https://www.edwith.org/deeplearningai2/lecture/34867/ [LECTURE] 테스트시의 배치 정규화 : edwith 학습목표 테스트시 배치 정규화가 작동하는 원리를 파악한다. 핵심키워드 배치 정규화(Batch Normalization) 지수 가중 이동 평균 (Exponentially Weight... - 커넥트재단 www.edwith.org - 배치 정규화는 한 번에 하나의 미니배치 데이터를 처리한다. - 하지만 테스트에서는 한 번에 샘플 하나씩을 처리해야 한다. - 이를 위해 신경망을 학습시키는 법을 살펴보자. - 학습 중 배치 정규화를 위해 사용했던 식들 - 1) 단일 미니배치에서 평균을 구하기 위해 z^(i) 값의 합을 구했다. 미니 배치 안의 샘플들을 모두 합..

https://www.edwith.org/deeplearningai2/lecture/34866/ [LECTURE] 배치 정규화가 잘 작동하는 이유는 무엇일까요? : edwith 학습목표 배치 정규화가 잘 작동하는 원인을 살핀다. 핵심키워드 배치 정규화(Batch Normalization) 정규화(regularization) 드롭아웃(dropout) - 커넥트재단 www.edwith.org - 배치 정규화는 입력 특성 X의 평균을 0, 분산을 1로 만듦으로써 학습 속도를 빠르게 한다. - 어떤 특성은 0에서 1까지 어떤 특성은 1에서 1000까지인 것을 입력 특성 X에 대해 비슷한 범위를 갖도록 정규화하여 학습 속도를 높인다. - 그래서 우리는 배치 정규화가 작동하는 이유가 비슷한 일을 하기 때문이라는 직..

https://www.edwith.org/deeplearningai2/lecture/34865/ [LECTURE] 배치 정규화 적용시키기 : edwith 학습목표 신경망에서 배치 정규화의 적용 과정을 상세하게 배운다. 핵심키워드 배치 정규화(Batch Normalization) - 커넥트재단 www.edwith.org - 은닉 유닛을 두 가지로 나눠볼 수 있다. - z를 우선 계산하고 활성화 함수를 이용해서 a를 계산한다. - 즉, 원 하나하나가 두 단계의 계산을 나타낸다고 생각하면 된다. - 다음 층에서도 비슷하게 z^[2]_1와 a^[2]_1이 된다. - 만약 배치 정규화를 쓰지 않는다면 입력값 x가 첫 번째 은닉층에 주어진다. - 그러면 w^[1]과 b^[1]에 따라 우선 z^[1]을 계산한다. -..

https://www.edwith.org/deeplearningai2/lecture/34864/ [LECTURE] 배치 정규화 : edwith 학습목표 배치 정규화를 학습한다. 핵심키워드 배치 정규화(Batch Normalization) - 커넥트재단 www.edwith.org - 딥러닝이 떠오르면서 가장 중요한 아이디어 중 하나로 배치 정규화라는 알고리즘이 꼽힌다. - 배치 정규화는 하이퍼파리미터 탐색을 쉽게 만들어줄 뿐만 아니라 신경망과 하이퍼파라미터의 상관관계를 줄여준다. - 즉, 더 많은 하이퍼파라미터가 잘 작동하는 것이다. - 아주 깊은 심층신경망이라도 아주 쉽게 학습할 수 있도록 도와준다. - 로지스틱 회귀 등으로 모델을 학습시킬 때 입력 변수들을 정규화하면 학습이 빨라졌던 것을 기억하는가? ..

https://www.edwith.org/deeplearningai2/lecture/34863/ [LECTURE] 하이퍼파라미터 튜닝 실전 : edwith 학습목표 하이퍼파라미터 튜닝 방법을 배운다. 핵심키워드 하이퍼파라미터(hyperparameter) - 커넥트재단 www.edwith.org - 한 어플리케이션에서 얻은 하이퍼파라미터에 대한 직관이 다른 영역에서 쓰일 수도, 아닐 수도 있다. - 서로 다른 어플리케이션 영역 간에 공유되는 것들이 있다, - 예를 들면 컴퓨터 비전 커뮤니티에서 발전된 컨브넷이나 레스넷 -> 음성에 적용 -> 그리고 이 음성에서 발전된 아이디어들이 자연어 처리에서도 잘 적용되고 있다. - 로지스틱 문제 하나만 보더라도 좋은 하이퍼파라미터를 찾았다고 할 때 알고리즘을 계속 발..

https://www.edwith.org/deeplearningai2/lecture/34862/ [LECTURE] 적절한 척도 선택하기 : edwith 학습목표 하이퍼파라미터 선택에 적절한 척도를 정하는 방법을 배운다. 핵심키워드 하이퍼파라미터(hyperparameter) 학습률(learning rate) - 커넥트재단 www.edwith.org - 무작위로 하이퍼파라미터를 찾는 것이 더 효율적인 탐색이다. - 하지만 여기서 무작위라는 것이 가능한 값들 중 공편하기 뽑는 것이라고 할 수는 없다. - 대신 적절한 척도를 정하는 것이 중요하다. - 어떤 레이어 l에 대하여 은닉 유닛의 수 n^l을 정한다고 하자. - 그리고 값의 범위로 50부터 100을 생각해보자. - 이런 경우 50부터 100까지의 수직선..