비선형 함수
- 계단 함수와 시그모이드 함수의 또 다른 공통점 : 모두 비선형 함수
- 시그모이드 함수 : 곡선, 계단 함수 : 구부러진 직선 = 모두 비선형 함수로 분류됨
선형함수와 비선형함수
- 함수란 어떤 값을 입력하면 그에 따른 값을 돌려주는 '변환기'
- 선형 함수 : 변환기에 무언가 입력했을 때 출력이 입력의 상수배만큼 변하는 함수
f(x) = ax + b ; a와 b는 상수 - 즉, 선형 함수는 곧은 1개의 직선 - 비선형 함수 : '선형이 아닌' 함수
즉, 직선 1개로는 그릴 수 없는 함수
활성화 함수로 반드시 '비선형 함수' 를 사용해야 함
- 신경망에서는 활성화 함수로 "비선형 함수" 를 사용해야 함
선형 함수를 사용하면 안됨 - 선형함수를 이용하면 신경망의 층을 깊게 하는 의미가 없어짐 - 선형 함수는 층을 아무리 깊게 해도 결국 은닉층이 없는 것과 똑같음
ex) 선형함수인 h(x) = cx 를 활성화 함수로 사용한 3층 네트워크
y(x) = h(h(h(x)))
y(x) = c * c * c * x ; 곱셈을 세 번 수행하지만 = 이것은 y(x) = ax 와 똑같은 식 ( a = c^3) - 즉, 은닉층이 없는 네트워크로 표현 가능
- 따라서 선형 함수를 활성화 함수로 이용하면 여러 층으로 구성하는 이점을 살릴 수 없음
Reference
- 밑바닥부터 시작하는 딥러닝
'Deep Learning' 카테고리의 다른 글
numpy를 이용한 다차원 배열 계산 - 신경망 효율적 구현 (0) | 2022.05.31 |
---|---|
ReLU 함수 - 신경망에서 자주 사용하는 활성화 함수 (0) | 2022.05.31 |
시그모이드 함수 (sigmoid function) 란? (계단 함수와의 비교) (0) | 2022.05.31 |
계단 함수 (step function) 란? (0) | 2022.05.29 |
신경망과 활성화 함수 (activation function) (0) | 2022.05.29 |
댓글