ReLU関数

活性化関数とは、入力信号の総和がどのように活性化するかを決定する

– 単純パーセプトロンではステップ関数
– 多層パーセプトロンでは、シグモイド関数、ソフトマックス関数、恒等関数など

ステップ関数
入力した値が0以下の時0に成り、0より大きい時1になる

def step_function(x):
	if x>0:
		return 1
	else:
		return 0

print(step_function(5))
print(step_function(-8))

[vagrant@localhost python]$ python myapp.py
1
0
アホみたいだな。概念は凄い大事なんだろうけど。

同じくRelU

def relu(x):
	return np.maximum(0,x)

print(relu(15))
print(relu(-4))

[vagrant@localhost python]$ python myapp.py
15
0
これもそのまんまって感じですな。。