ReLU (Rectified Linear Unit) 함수
- 신경망에서 시그모이드 함수를 오래 전부터 이용해왔으나, 사실 ReLU 를 더 많이 이용
- ReLU 는 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0 이하면 0을 출력하는 함수
- h(x) = x (x>0) , 0 (x <= 0)
- Rectified 란 '정류된' 이라는 뜻 - 정류는 전기회로 쪽 용ㅇ로, 예를 들어 반파정류회로(half-wave rectification circuit)는 +/- 가 반복되는 교류에서 - 흐름을 차단하는 회로
ReLU 함수도 x 가 0 이하일 때를 차단하여 아무 값도 출력하지 않고 0 을 출력한다.
따라서 ReLU 함수를 '정류된 선형 함수' 라고 할 수 있다.
ReLU 함수 구현
def relu(x) :
return np.maximum(0, x)
Reference
- 밑바닥부터 시작하는 딥러닝
'Deep Learning' 카테고리의 다른 글
넘파이(numpy)로 신경망 구현하기 (0) | 2022.05.31 |
---|---|
numpy를 이용한 다차원 배열 계산 - 신경망 효율적 구현 (0) | 2022.05.31 |
비선형 함수를 사용하는 이유 (신경망, 선형함수 비교) (0) | 2022.05.31 |
시그모이드 함수 (sigmoid function) 란? (계단 함수와의 비교) (0) | 2022.05.31 |
계단 함수 (step function) 란? (0) | 2022.05.29 |
댓글