在2012年的时候，Alexnet神经网络提出，这时网络的架构比如说各个层之间要如何排列组合，使用多少卷积层池化层，每个层又如何设置超参数其实没有什么规律，主要通过实验与试错：




但是我们通过对内容容量，可学习参数以及浮点运算次数的计算，可以看到一些有趣的规律，绝大多数的内容容量都使用在了卷积层，绝大多数的可学习的参数都在全连接层，绝大多数的浮点运算都发生在卷积层




在2013年又提出了ZFNet，其实只是一个更大的AlexNet：