ReLU 함수 - 신경망에서 자주 사용하는 활성화 함수

ReLU (Rectified Linear Unit) 함수

---

 

 

 

• 신경망에서 시그모이드 함수를 오래 전부터 이용해왔으나, 사실 ReLU 를 더 많이 이용
• ReLU 는 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0 이하면 0을 출력하는 함수
• h(x) = x (x>0) , 0 (x <= 0)
• Rectified 란 '정류된' 이라는 뜻 - 정류는 전기회로 쪽 용ㅇ로, 예를 들어 반파정류회로(half-wave rectification circuit)는 +/- 가 반복되는 교류에서 - 흐름을 차단하는 회로
  ReLU 함수도 x 가 0 이하일 때를 차단하여 아무 값도 출력하지 않고 0 을 출력한다. 
  따라서 ReLU 함수를 '정류된 선형 함수' 라고 할 수 있다.

 

ReLU 함수 구현

def relu(x) :
	return np.maximum(0, x)

 

 

 

 

 

 Reference

• 밑바닥부터 시작하는 딥러닝