3.4　使用Sigmoid函数作为激活函数

接下来是本章最重要的内容，应用激活函数Sigmoid进行非线性转换。

如图3-18所示，对于第j个神经元，获取上一层中8个和自己相关的神经元节点和权重的乘积之和（target_neuron_input），然后通过Sigmoid函数target_neuron_output=，计算经过非线性转换后的输出值（target_neuron_output）。

图3-18　激活函数非线性转换

ForwardPropagation.py的applyForwardPropagation的源代码如下：

第13行代码：应用Sigmoid函数对当前的神经元的所有的输入累计后的值target_neuron_input进行操作。图3-19是Sigmoid函数的公式f(x)=1/(1+e^-x)，我们采用Sigmoid函数计算神经元节点的值target_neuron_output。

图3-19　Sigmoid激活函数

chapter3_Create_AI_Framework版本的ForwardPropagation.py的完整代码如下：