大模型面试 - 向量化(Embedding)

机器学习算法数据库

本合集包含60篇大模型面试文章(机器学习、深度学习、大模型各20篇),共计299微信豆,谢谢您的订阅。

适合人群:

  1. 在校学生:如果你是在校学生,对AI有浓厚兴趣,并希望通过学习相关内容增强自己的实践能力,以便在未来的实习或工作中脱颖而出,那么大模型的知识将是你简历上的一大亮点。
  2. 职场新人:对于那些刚刚步入职场不久的同学,如果你想通过掌握大模型技术来提升自己的职业竞争力,无论是为了升职加薪还是寻求更好的职业发展机会,这部分内容都将是你的宝贵资产。
  3. 追求效率者:如果你希望通过“偷懒”来节省时间,获取整理好的大模型面试资料和信息,以便更高效地准备面试或学习,那么这些资源将是你的得力助手。
  4. 经验交流者:渴望与行业内的专业人士近距离交流,汲取更多实战经验,获取第一手行业信息的人群,也将从这些内容中受益匪浅。

不适合人群:

  1. 自主学习强者:对于那些已经拥有强大自我学习能力,能够独立完成AI相关知识学习的人来说,这些额外的帮助可能不是必需的。

  2. 非AI领域人士:如果你不准备进入AI相关领域,或者对AI学习没有兴趣,那么这部分内容可能并不适合你。

向量化(Embedding) 是一种将离散数据(如单词、图像等)转换为连续向量表示的技术。这些向量通常能够捕捉原始数据之 间的语义或结构相似性。

  • 独热编码(One-Hot Encoding):为每个词分配一个唯一的二进制向量,但存在维度灾难和无法表示语义相似性的问题。
  • 词嵌入(Word Embeddings):如Word2Vec、GloVe、FastText等,将每个词映射到一个高维实数向量,这些向量在语义上是相关的。

picture.image

Embedding

Word2Vec 由 Google 的研究人员在 2013 年提出,Word2Vec 是一种用于自然语言处理(NLP)中词嵌入学习的方法,它能够将单词从词汇表映射到连续的向量空间中,这样词与词之间的相似度就可以通过向量之间的距离(如欧几里得距离或余弦相似度)来衡量。

  1. Skip-Gram:在 Skip-Gram 模型中,目标是利用中心词来预测上下文中的词(即,给定一个词,预测它周围的词)。例如,给定“the cat is on the mat”这句话,并假设“cat”是中心词,Skip-Gram 模型会尝试预测“the”、“is”、“on”和“the”(可能还包括“mat”,取决于上下文窗口的大小)等词。
  2. Continuous Bag of Words (CBOW):与 Skip-Gram 相反,CBOW 模型使用上下文中的词来预测中心词。在同样的例子中,如果使用“the”, “is”, “on”, 和 “the”作为上下文,CBOW 模型会尝试预测出中心词“cat”。

GloVe(Global Vectors for Word Representation) 是一种由斯坦福大学的研究团队在2014年提出的无监督学习算法,用于生成词向量。GloVe模型是一种结合了全局词频统计(count-based)和局部上下文窗口(direct prediction)方法的词表征工具。它通过将单词映射到高维向量空间中,使得向量之间的距离能够反映单词之间的语义相似性。

FastText 是一种由Facebook AI Research实验室开发的开源库,主要用于文本分类和词向量表示。FastText的核心算法基于连续词袋模型(Continuous Bag of Words, CBOW),并引入了n-gram技术。在FastText中,文本被表示为一个词袋(bag of words),即一个词的集合,并通过n-gram技术将文本中的每个词及其n-gram表示相加,得到文本的向量表示。

ELMo(Embeddings from Language Models) 是一种基于语言模型的深度语境化词表征方法,它通过在大规模语料中训练深度双向长短期记忆网络(LSTM)来捕捉句子中的长期依赖关系,并生成高质量的词向量。ELMo与传统的词向量学习方法(如Word2Vec、GloVe等)不同,ELMo生成的词向量不是固定的,而是会根据当前句子的上下文环境进行动态调整。 这种动态词向量的特性使得ELMo能够更好地处理一词多义问题。

picture.image

Embedding

0
0
0
0
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论