DNN
dense neural network deep neural network 卷积层的参数个数只和通道和卷积核的大小有关(In 128 Out 64 conv 5×5 参数：$25×2^{13}$个) 全连接层权重最多(4096 -> 1204：参数 4096×1024 = 420w个)
RNN
处理带有序列关系的输入数据：天气、股市、自然语言
例：天气数据 每一天若干个数据 有若干天
激活函数一般用tanh
线性层是通用的
\([w_{1}\ w_{2}]\times \left[ {\begin{matrix}h\\x\end{matrix}} \right]\)
输入输出的维度关系
| input | output |
|---|---|
| input of shape(batch:N, input_size:x) hidden of shape(batch:N, hidden_size:h) |
hidden of shape(batch:N, hidden_size:h) |
- batchZSize = 1
- seqLen = 3 \([x_{1},x_{2},x_{3}]\)
- inputSize = 4 \(\left[{\begin{matrix} 1 &1 &1\\ 2 &2 &2 \\ 3 &3 &3 \\ 4 &4 &4 \end{matrix}}\right]\)
- hiddenSize = 2 \(\left[{\begin{matrix} 1 &1 &1\\ 2 &2 &2 \\ \end{matrix}}\right]\)
input.shape(batchSize, inputSize)
output.shape(batchSize, hiddenSize)
dataset.shape(seqLen, batchSize, inputSize)
