来一场AI认知刷新的赴约:AI在企业内落地的一些收获

大模型向量数据库云安全

8 小时

10个AI应用demo

13个参考案例剖析

36个头脑风暴idea

60名产品经理与开发工程师

100页ppt分享我们所有的经验与认知

工作坊环节讨论的时候大家吵到停不下来,全程欢乐不断,又透露着一些紧张 :

  • 头脑风暴时大家在嬉笑声中极限拉扯,领导一旁笑而 不 语

  • 开发环节产品经理手打/机打评 估数据集 ,开发工程师奋笔疾书提 示 词

一个小时后,他们需要向所有人展示自己团队的成果。这样场面我想管理者们可以直接在现场选场景、选人了 。

这是我们最近正在给中大型企业做的AI工作坊培训,主要面向开发、产品经理的同学,目标是让一个大团队内所有人完成一次认知刷新,在企业里一线人员心中播下的创新种子,激发上层管理的思考,然后推进AI产品在企业中落地。

因为通常来说:在新技术革命起步阶段,要做出切实有用的新技术应用实践,更需要自下而上的群体驱动,而不是自上而下的个人安排式驱动。

与此同时,我们自己的产品Chat2API仍然继续在做,并且做这场AI培训也是受Chat2API驱动。目前Chat2API已经有付费的企业用户,项目在内测中,客户也在同步做他们的全新改版,改版后我们来和大家一起汇报。如果顺利的话,我们希望在年底能尝试海外市场。不过今天主要和大家说说我们为什么、如何做企业AI培训,以及这个过程中我们的收获。

Why:为什么要做

我们最初向投资人、客户路演chat2API的时候,发现一个有趣的事情:

  • 有AI开发背景的同学极其赞同我们的想法。
  • 而企业的管理者却不理解它能带来什么好处。(这确实说明我们做得还不够好)

不过我们的专业程度引来了管理者的兴趣,于是就提起:“能不能把chat2API放在一次培训中来讲,他们可以付费。”

我们抱着试一试的想法开始了这样的尝试,其中chat2API在8小时的培训中作为“友情出演”的角色,有几分钟的串场,我们会提到:

  • Chat2API的准确率和响应速度是如何提升的?

  • Chat2API在企业的AI建设中会起到什么作用?

于是,我们的培训就这样被客户和Chat2API的推着开始做了。但做着做着,我们发现:这不仅是将我们对AI的认知给客户做一次完整输出,也让我们对Chat2API未来的使用场景有了新的认识,比如Chat2API需要更面向结果交付。

所以这件事我们会持续做下去,同时我们的培训所得收入,也能为将来推广、研发Chat2API积累一些资本(我们在对接了一些早期投资机构之后,目前不打算融资)。

What: 培训内容

目前为止我们的客户都是几家上市公司,行业覆盖能源、金融、通讯领域。

培训一般会持续一整天,由我和我的技术伙伴共同主持。最近我才知道我的伙伴不仅是某大厂连续三次绩效A + S(super),而且还收获了集团级奖项,实打实地给他带来了几十万的员工股票激励,就是传说中的十倍速开发者。

我们一整天的安排分上下半场。

picture.image

一. 上午理论+方法论+经验总结。

我们会从250年的技术革命演变规律谈起,讲到以下内容:

  • AI时代相较于互联网时代的认知刷新。

  • 产品经理在AI时代的新能力模型。

  • 发现、设计AI产品的几种方法。

  • AI团队中产研如何协作。

  • 企业A I的体系化 建设。

  • AI产品的商业 化。

  • Deepseek V4的发展方向对AI落地还将带来哪些影响。

期间会伴随着丰富的案例剖析、互动、 问答。

二、下午分组工作坊实战。

我们会模拟真实工作场景的人员配置,每组有业务、产品经理、开发工程师,大概3-8人/组。具体步骤包括:

  • 工作坊前我们会针对一个企业场景,递进式的开发出2-3个Agent案例。
  • 现场,我们首先手把手带大家体会这个Agent的演进过程,带入企业内部场景。
  • 随后组织各组头脑风暴,确定场景后进入开发。
  • 最后按照我们上午方法来构建AI应用并上台demo展示。

这样保证参与的每一个人都会亲手搭建Agent应用, 既有合作,又有思想碰撞 。也因此我们推荐一次培训的规模保持在30-80人左右。

其中所有的案例剖析、示例都是根据企业自身情况来展开。比如金融领域内,我们会找到领域内的近十个国内外案例进行剖析, 我们示例会拉出企业自身的应用来提前开发出一个Agent示例。

为此,在培训前的半个月,我们会和客户方的AI技术、业务总监做一次深入访谈,以方便我们做定制化的案例分析、方案复刻。

在培训后的三天,我们会给出培训相关考题,工作坊环节所有项目的综合评述、亮点和改进建议。 老板们就可以拿着这份报告想想后面找哪些人,聚焦做哪些事儿了。

整体的培训准备时间需要半个月左右,既然开始做,我们就是做精品,在共同的学习、准备中大家一起成长。

事实上,我们也确实收获了更多的场景和开发中遇到的问题。

我们的收获

我们认为:

  • 真正做过之后发现的场景才是真场景。

  • 真正做过之后发现的问题才是真问题。

AI应用开发需要放下夸夸其谈的道听途说,而真场景、真问题就是我们和客户共同的收获。

收获一:AI应用落地瓶颈已不在模型,而在AI应用可用资源和开发能力

模型成本在极速下降,能力却越来越强,意味着落地瓶颈已经不在模型。

成本在极速下降的意思是,LLM 的Token消耗成本在用户量可控的企业级应用中,已经和云资源的成本差不多了,“用了deepseek之后,感觉就跟没用似的” — 这是培训场下的一位产品经理的原话。

能力越来越强的意思是:在一般企业场景中(无复杂科学推理),只要给LLM足够的上下文,就能给出正确的答案。

那么,所有应用开发者的能力就集中在如何获取准确上下文上,这依赖于两个因素:

第一个因素是资源是否足够。

比如数据、API的权限是否能开放, 知识库资料是不是足够全。通常,我们总是以为资源是否足够往往依赖于外部环境,但我们也发现这其实也是AI应该开发者可以做的工作之一,尤其是知识库、资料库的整理上,与其等着业务侧整理,不如自己开发AI Agent辅助业务人员整理,比如沉淀一份采购经验,可以先让AI给出提案,然后再让业务专家纠错。

第二个因素是研发团队是否有能力用好这些上下文。

比如什么场景应该用RAG,什么场景应该使用function calling,什么场景应该让Agent自主探索。这里想提醒一线开发的同学不要被“零容忍”吓到。我的回答是:

“这世界上没有100%正确,再精美的提示词,也可能被诱导型的攻击产生幻觉。这不是大模型特有的问题,是所有应用的问题,就像今天即使是支付宝,也可能有不安全的因素。

因此,我们能做到的零容忍是指合理使用Agent的场景中,做到信息99%正确,剩下的1%交给用户。信息99%的准确可以通过很多方法解决,比如多模型共同验证、使用function calling精准获取数据等等;1%交给用户是指在产品侧降级(把摸不准的两个答案让用户来选择)。

另外,管理者需要认识到零容忍是在实践中逐步达成的,不容忍现在的不足就不会有未来的100%正确,我们通常采用的方式是在一个场景中先用copilot形式辅助业务,再逐步过渡到Agent模式。比如客服场景,先辅助客服人员回答,然后再直接面向客户。”

收获二:企业级AI应用可参考案例大多数在海外

在一个业务驱动而非技术驱动的公司,AI应用落地首先想到的是能不能参考多个案例看看别人的效果。目前对于企业级的AI应用来说,国外丰富程度远高于国内市场。

这也非常好理解,因为上一代企业级SAAS生态在国内没能走通,结果延续到了当下的AI时代,国内除了少数诸如飞书、钉钉这类通用软件外,大多数企业级应用在国内依然是封闭的。

因此,在公开场合我们听到的大多数企业案例很多依然是只适合企业内部,而非普世产品。但海外的企业级AI应用就有很多,在我们的培训中,可以根据客户诉求找到十几个案例供他们参考。

收获三: RAG可以作为很好的开始,但RAG的场景非常有限

RAG可以作为团队实践的开始,但请大家牢记:

RAG的原理是用Query匹配Query,而不是用Query找到匹配答案。

这是RAG先天的基因,即使我们使用Query 重写、RAG 分块优化、检索优化、重排等措施依然不能改变RAG的本质。因此RAG准确的前提是有完整的Q&A问答对作为知识库支撑,而这样的知识库往往可遇不可求。

那么,你有两个措施来解决这个问题:

  • 一是对于非结构化的经验知识类问答,你要为RAG构建完整的知识库。这其中的技巧是让LLM做知识萃取。

  • 二是对于非经验知识类问答,你需要弃用RAG,通过其他手段比如函数调用,查询数据等方式来解决问题。

收获四:GUI依然有效,但位置变了。

这是用户体验层需要下的功夫。 产品的本质就是: 让技术对一定规模的用户触手可及。AI产品的本质就是让LLM 技术对用户触手可及。

那么,这句话中有两个含义:

一是:让用户尽可能少的输入拿到ta想要的东西,达到触手可及。

比如,一个销售在查询某个客户的信息时,随便说出”查询北电公司的订单信息“,结果系统里查出很多类似北电的公司,有北方电力、北京电力、北方电网, 我们可以依据该销售的身份关联到最相关的信息和用户确认,而不是每个用户都一样的推荐多个选项。

二是:用户可以被引导,从而让ta“感觉上”触手可及。

GUI仍然是有效的引导用户的方式,但GUI会从菜单栏向对话内、输入框周围转移。 比如你可以在对话框下方设置不同选项,上方设定使用场景。

整体回顾一下,上述4个收获分别落在了模型层、应用层的场景与开发技巧、用户层的体验提升,也是每一位AI参与者应该了然于胸的剖析框架。

写在最后

和上述的过程类似,从年初到现在,我们一直在和不同的客户共同收获,回顾起来:

  • 我们的客户是在AI社群认识的。
  • 我们因为拥有共同的AI理念而确定合作关系。
  • 我们的所有产品PRD、Agent代码是用AI辅助写的。
  • 甚至,我们的合同也是AI写的。

我太喜欢这样的AI味儿了,我们就是要身体力行地告诉所有人:AI正在改变着你我的生活、工作方式!

也欢迎大家直接联系我们(公众号菜单里找到联系我),或者把我们正在做的AI培训方式转发给你们老板、HR培训部门,让我们一起来一场充实、有用的方法与实践训练吧!

我是关注和开发AI产品的产品二姐,致力于带来丰富的 AI 学习 分享、体会,欢迎你和我一起学习,如果你觉得文章有用,欢迎关注、点赞、转发。

我们在做的产品:

2024年度总结:我们用Chat2API的最后一行代码开启AI Agent之年

往期精选

0
0
0
0
关于作者

文章

0

获赞

0

收藏

0

相关资源
大规模高性能计算集群优化实践
随着机器学习的发展,数据量和训练模型都有越来越大的趋势,这对基础设施有了更高的要求,包括硬件、网络架构等。本次分享主要介绍火山引擎支撑大规模高性能计算集群的架构和优化实践。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论