时光飞逝，不知不觉 2023 年，这一年是与 AI 相伴的一年，随着对 AI 的深入了解，才明白原来 AI 已经深入在我们在生活的方方面面，其中机器学习和深度学习更是在科研任务中展现了不同的作用，使得我们可以用他们来解决科研中遇到的难题，以此来推动社会的各个方面的进步。
卷积神经网络
1.卷积层
卷积层是神经网络中独特的网络机制，卷积目的是对图像进行特征提取，具有局部感知机制和权值共享的两个特性，因为卷积实质可以理解为一个滑动窗口（卷积核）翻转之后在特征图上滑动并进行加乘计算，因此具有局部感知机特征提取功能。在滑动的过程中卷积核的值不会发生改变，因此具有权值共享的特性，这种特性可以减少神经网络中的参数的数量，提升运行效率，降低计算复杂程度。在实际图像特征提取应用中，卷积核是否翻转对局部感知及特征提取不会产生不同结果，因此为了简化运算，通常不翻转卷积核，这样的运算称为互相关运算，在卷积层中特征矩阵和卷积核通过互相关运算得到输出特征矩阵。
2.池化层
池化层是卷积神经网络中一个重要的组成部分，通常在一层卷积计算之后进行一次池化。池化层具有特征选择、减少特征、减少训练参数等功能。池化层的功能是通过池化运算实现的，池化运算通常有最大池化和平均池化两种，池化核是一个 n*m 的矩阵，最大池化是以池化核对特征矩阵以一定步长进行扫描，取池化核每次扫描到的区域中的最大值作为池化结果，平均池化是取池化核每次扫描到的区域中的平均值作为池化结果。
3.激活函数
输入神经元 X 通常通过线性计算 Z=WTX+b 得到净输入信号 Z，其中 W 是输入神经元 X 的权值矩阵，b 是对应的偏置矩阵，净输入信号 Z 是一个连续值，而类别是离散值，因此通过激活函数判断输出神经元是否会被激活并输出相应的类的取值。激活函数是非线性函数，它能够把输入神经元的线性运算值通过非线性运算转化为分类所需的离散值，所以通常在全连接层之后、展平层之后或输出层加入激活函数，发挥激活函数的功能。
设计深度神经网络时，对激活函数通常有如下要求：一是激活函数要连续并可导（允许少数点上不可导），因为通常通过梯度法优化网络参数，可导的激活函数可以直接利用数值优化的方法来学习网络参数。二是激活函数及其导函数要尽可能简单，有利于提高网络计算效率。三是激活函数的导函数值域要在一个合适的区间内，不能太大也不能太小，尤其是对于深度神经网络，随着深度的增加，会设计多层激活函数，求梯度时各层激活函数的导数值会与其他导数值相乘，如果激活函数的导数值太大或太小，容易出现梯度爆炸或梯度消失，影响参数优化。
当然上部分的介绍只是深度学习中最为经典一种神经网络 CNN，以及别的神经网络的方法与该方法基本都是基于 CNN 的基础之上进行改进，并且所用到的思想也基本是一致的。因此，与深度学习相伴的一年我学会了如何运用深度学习去解决自己学习上面的问题，因为未来的一年希望自己可以变得越来越好。 与AI相伴的一年 (infoq.cn)