• 网络比LeNet5更深，包括5个卷积层和3个全连接层。
  

• 使用Relu激活函数，收敛很快，解决了Sigmoid在网络较深时出现的梯度弥散问题。

• 加入了Dropout层，防止过拟合。

• 使用了LRN归一化层，对局部神经元的活动创建竞争机制，抑制反馈较小的神经元放大反应大的神经元，增强了模型的泛化能力。

• 使用裁剪翻转等操作做数据增强，增强了模型的泛化能力。预测时使用提取图片四个角加中间五个位置并进行左右翻转一共十幅图片的方法求取平均值，这也是后面刷比赛的基本使用技巧。

• 分块训练，当年的GPU计算能力没有现在强大，AlexNet创新地将图像分为上下两块分别训练，然后在全连接层合并在一起。

• Xavier初始化将每层权重设置为在有界的随机均匀分布中选择的值。

• Xavier权重初始化将保持激活函数和反向传播梯度的方差，一直向上或向下传播到神经网络的每一层。

• 相反，若不使用Xavier初始化，直接使用“标准”初始化会导致网络较低层(较高)的权值梯度与最上层(接近于零)的权值梯度之间的差异更大。

考点3: Batch normalization

• 对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，以此避免梯度消失问题。

• 因为梯度一直都能保持比较大的状态，所以很明显对神经网络的参数调整效率比较高，就是变动大，就是说向损失函数最优值迈动的步子大，也就是说收敛地快。

考点4 :

残差网络通过加入 shortcut connections，直接跳过一个或多个层，并且使得更加容易被优化。通过这种做法，不同层提取出的特征都可以传递到网络末端的分类器中。较低的层倾向于寻找粗略的特征，而较高的层倾向于进行细致特征的的寻找。