该系列的Jupyter放在下方：

RNN入门（一）循环神经元

循环神经元

RNN跟FNN的区别：RNN有指向反向的连接。即对于每个时间步长$t$，循环神经元接收两个输入：

• 输入$x_{(t)}$
• 前一个时间步长$y_{(t-1)}$的输出

ps：第一个时间步长没有先前的输出，通常设置为0.

循环层

每个循环神经元都有两组权重：

• 一组用于输入$x_{(t)}$
  称权重为$w_x$
• 一组用于前一个时间步长$y_{(t-1)}$的输出
  称权重为$w_y$

考虑到整个循环层，可以将权重向量放在两个权重矩阵$W_x$和$W_y$中。

以此计算整个循环层的输出向量如下：

$$ y_{(t)}=\phi(W^T_xx_{(t)}+W^T_yy_{(t-1)}+b) $$

其中$b$为偏置向量，$\phi(·)$是激活函数。