CNN结构演化
演化脉络
上图所示是CNN结构演化的历史，起点是神经认知机模型，已经出现了卷积结构，但是第一个CNN模型诞生于1989年，1998年诞生了LeNet。随着ReLU和dropout的提出，以及GPU和大数据带来的历史机遇，CNN在12年迎来了历史突破。12年之后，CNN的演化路径可以总结为四条：1）更深的网络，2）增强卷积模的功能以及上诉两种思路的融合，3）从分类到检测，4）增加新的功能模块。
早期尝试
1998年，LeCun提出LeNet，并成功应用于美国手写数字识别。但很快，CNN的锋芒被SVM和手工设计的局部特征盖过。
历史突破
历史的转折在2012年到来，AlexNet, 在当年的ImageNet图像分类竞赛中，top-5错误率比上一年的冠军下降了十个百分点。AlexNet的成功既得益研究者的自我奋斗：Relu和Dropout的提出, 也是大历史进程的结果：大数据训练和GPU并行计算。 2012年之后，CNN朝着不同方向演化。
