大模型面试 - 激活函数 (Activation Function)

大模型机器学习数据库

本合集包含60篇大模型面试文章(机器学习、深度学习、大模型各20篇),共计299微信豆,谢谢您的订阅。

适合人群:

  1. 在校学生:如果你是在校学生,对AI有浓厚兴趣,并希望通过学习相关内容增强自己的实践能力,以便在未来的实习或工作中脱颖而出,那么大模型的知识将是你简历上的一大亮点。
  2. 职场新人:对于那些刚刚步入职场不久的同学,如果你想通过掌握大模型技术来提升自己的职业竞争力,无论是为了升职加薪还是寻求更好的职业发展机会,这部分内容都将是你的宝贵资产。
  3. 追求效率者:如果你希望通过“偷懒”来节省时间,获取整理好的大模型面试资料和信息,以便更高效地准备面试或学习,那么这些资源将是你的得力助手。
  4. 经验交流者:渴望与行业内的专业人士近距离交流,汲取更多实战经验,获取第一手行业信息的人群,也将从这些内容中受益匪浅。

不适合人群:

  1. 自主学习强者:对于那些已经拥有强大自我学习能力,能够独立完成AI相关知识学习的人来说,这些额外的帮助可能不是必需的。

  2. 非AI领域人士:如果你不准备进入AI相关领域,或者对AI学习没有兴趣,那么这部分内容可能并不适合你。

激活函数(Activation Function): 激活函数是在神经网络中用于将神经元的输入映射到输出端的函数。它决定了节点是否应该被激活(即,是否让信息通过该节点继续在网络中向后传播)。

在神经网络中,输入通过加权求和(权重(W)和偏置(b) ),然后被一个函数作用,这个函数就是激活函数。

picture.image

激活函数

激活函数的主要作用如下:

  1. 增加非线性:神经网络中,如果只有线性变换,那么无论神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当。引入非线性激活函数,使得神经网络逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中。
  2. 特征转换:把当前特征空间通过一定的线性映射转换到另一个空间,让数据能够更好地被分类。

常见的激活函数包括:Sigmoid、Tanh、Softmax、ReLU、Leaky ReLU

  1. Sigmoid:将输入的连续实值压缩到0和1之间,特别大的负数映射为0,特别大的正数映射为1。但它存在梯度消失和输出不是以0为中心的问题。
  2. Tanh:将输入的连续实值压缩到-1和1之间,输出以0为中心。但它同样存在梯度消失的问题。
  3. Softmax:常用于多分类问题的输出层,将神经元的输出映射到概率分布上。
  4. ReLU (Rectified Linear Unit):当输入大于0时,输出等于输入;当输入小于等于0时,输出为0。ReLU解决了梯度消失的问题,但可能会导致神经元“死亡”的问题。
  5. Leaky ReLU:对ReLU进行了改进,当输入小于0时,给予一个很小的斜率,从而避免神经元“死亡”的问题。

picture.image

常见的激活函数

0
0
0
0
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论