写得很好！加油！期待下一编。
我看了一下ReLu的资料，有几个有趣点:

1. ReLu也是从生物学借来的，因为神经元只有开和关，而不像sigmoid正反都有讯号。

2. Sigmoid 的斜率(slope) 永远小於0.25, 当神经网的深度变大，算backprop时所有sigmoid乘起来就会归零，所以sigmoid在深度学习基本上沒用。

3.当x小於0, ReLu的斜率等於0。若果一个神经元进入这个状态之后就只会归零。这个神经元就废了。所以用ReLu有可能算到一半整个神经网都废了(dying ReLu problem) 。这个问题可以用Leaky ReLu解决。