限时免费!PromptPilot,字节最新黑科技,让AI学会"学习"!

Prompt图像识别图像处理

大家好,我是姚路行,一个爱搞AI的大厂程序员,也是一个90后奶爸

这两天听了一下字节火山引擎的开发者大会。

本来以为只是听听技术分享,了解一下最新的AI产品动态。

没想到在会上,有两个点让我印象非常深刻:豆包大模型1.6再次升级和  #PromptPilot 提示词优化平台

最大的惊喜:PromptPilot

你们也知道,我最近一直专注于AI编程领域,也通过AI编程写了不少应用。

大家都看到了AI编程现在的强大,感觉啥内容都是几句话就生成出来了。

但很多人可能不知道,AI编程的首次提示词非常重要,基本能决定整个应用的基调以及是否符合你的预期。

要是首次提示词写的不好,很有可能最后的纠正不过来,而重新开一个对话了,所以提示词一直都是重中之重的内容。

以前,我调试出满意提示词的方式是这样的:

写一个初始版本 -> 测试几个样本 -> 发现问题,手动修改 -> 重复上述步骤,直到满意

这个过程既耗时又低效,而且往往需要大量的试错,但PromptPilot改变了这一切。

PromptPilot体验

首先打开PromptPilot的官网

💡地址:https://promptpilot.volcengine.com/

picture.image

在PromptPilot中选择 【Prompt生成】,并输入需求

picture.image

为了保证食品卫生,你需要根据奶茶店的图片,判断奶茶店员工是否存在未佩戴口罩的情况。 

几秒钟后,PromptPilot生成了一个结构化的提示词,包含了清晰的输出格式、明确的判断标准。

picture.image

第一版提示词就完成了,已经比我手动写的要专业得多了!

提示词调试

接下来就是提示词调试了,而PromptPilot最厉害的地方,就是它的提示词调试功能。

因为我们的任务是视觉理解任务,所以侧边栏选择 【视觉理解】

picture.image

接下来选择 【填写变量】,并点击上传图片

picture.image

网上找了一张图片,上传好了之后呢,选择好模型,这里我们选择的是具有深度思考能力的doubao-seed-1.6-thinking-250615模型,然后点击 【保存并生成模型回答】

picture.image

几十秒后,模型给出了回答,输出结果非常棒哈,人数识别以及口罩佩戴情况识别的特别准确,让我比较震惊的是我选择的图片里的员工戴的都是透明口罩非常规口罩,也是识别的非常准确,这个视觉理解很厉害!

如果你觉得他的输出不好,也可以点击下面的 【基于模型回答改写】

picture.image

接着可以将我们这次的调试结果添加到评测集中。

picture.image

【Prompt批量】【视觉理解】 中,可以找到我们的评测集,并且可以为这次的回答进行打分

picture.image

可以手动添加评分标准,也可以让AI自动生成评分标准,PromptPilot不仅记住了我的偏好,还开始分析我的评分模式(不过这里需要先手动评分至少 3 个数据集)。

picture.image

当我完成了3个数据集的手动评分后,AI开始自动生成评分标准,理解我到底喜欢什么样的回答,给出了一个非常完整的评分标准。

picture.image

这就像给AI装了一个"学习大脑"!

批量优化

真正的转折点出现在批量优化环节,接下来可以 【手动添加】 或者 【批量上传】 数据集。

picture.image

我上传了一个包含10多张不同场景图片的数据集,让PromptPilot进行批量测试。系统自动运行了所有图片,并生成了详细的评分报告。

picture.image

然后,我启动了"智能优化"功能。PromptPilot基于这些数据,自动生成了多个优化版本的提示词,并进行了对比测试。

picture.image

接着就是等待优化过程了

picture.image

最终的结果让我惊喜:优化后提示词更加准确,而且回答更加简洁明了。

picture.image

picture.image

值得一提的是这个有难度的case,图片中有多个人,并且有的戴了口罩,有的没戴,第一版提示词效果并不好,而用了新的提示词后,不仅精准判断了哪些是员工,哪些是顾客,并且判断出了有员工戴着口罩,而没有带好这种情况,非常强!

picture.image

整个优化过程只用了1个小时,而按照传统方式,我可能需要花一整天!

技术角度分析

从技术角度看,PromptPilot的架构设计很巧妙:

1. 交互式意图挖掘

通过评论、修改、对比等方式,系统能够逐步理解用户的真实意图。

2. 数据驱动的优化

系统收集大量的输入输出数据,通过机器学习算法自动优化提示词。这种方法比人工调优更科学,也更高效。

3. 多模型支持

无论是公有云模型、私有化模型,还是定制模型,PromptPilot都能支持。这给了开发者很大的灵活性。

4. 知识库集成

通过集成专业知识库,PromptPilot能够解决垂直领域的专业问题,让AI在特定领域表现更好。

限时免费升级

在6月11日到9月11日Plus套餐是限时免费的,视觉理解Prompt优化和多步骤Solution优化都是无限使用的,大家可以都来体验一下!

picture.image

豆包1.6再次升级

豆包模型作为火山引擎 AI 的模型基座,一直都是备受关注。

6月份的时候豆包大模型1.6系列的上线,一举便迈入全球大模型第一梯队

而这次仅仅一个多月的时间,再度完成了强力的升级。

Doubao-Seed-1.6-thinking|250715

这次升级,模型的思考能力大幅强化,和之前的模型相比,在编码、数学、 复杂逻辑推理等基础能力上进一步提升, 而且还支持视觉理解。

Doubao-Seed-1.6-flash|250715

这次模型是豆包1.6的极速版本,在保证多模态深度思考的同时,推理速度达到极致,TPOT仅需10ms; 同时支持文本和视觉理解,纯文本理解能力对比上一代lite大幅提升近10%。

接下来我来带大家体验一下新模型的强大!

强大的视觉理解、思考能力

用两张小朋友写的作业的图片,让豆包帮忙批改一下,并让他在写错的情况下给出参考答案和过程。 picture.image

因为有些数字和文字小朋友写的时候有些覆盖,不是很清晰,所以对视觉理解还是有一定的挑战。

Doubao-Seed-1.6-thinking|250715不仅识别得非常准确,而且数学逻辑思维非常强啊!

picture.image

极速版的体验

Doubao-Seed-1.6-flash|250715 模型,特点就是快!不仅识别得非常精确,而且速度真的是超快!

picture.image

picture.image

最后

深度思考

这次体验让我明白了一个道理:在AI时代,最重要的不是模型本身,而是如何让模型按照我们的意图工作。

PromptPilot和豆包1.6模型的组合,让我看到了AI应用开发的未来:更智能、更高效、更人性化。

对于开发者来说,这意味着我们需要:

  • 学会与AI协作,而不是对抗
  • 重视数据驱动的开发方式
  • 持续学习和适应新的工具
  • 关注用户体验,而不仅仅是技术实现

毕竟,在这个AI快速发展的时代,最好的开发者不是最会写代码的,而是最会让AI发挥价值的。

往期优质文章

字节深夜开源“扣子”!Coze Studio最深度体验!

全网首发!CodeBuddy IDE【内测】最深度测评!(附限量邀请码)

微信聊天太乱?AI神器一键智能分类、导出飞书!

豆包AI编程有多离谱?我要失业了!

大厂程序员自研Flomo AI插件,1秒总结笔记,官方都没做到!

Trae帮我完成了想象中的Vibe Coding!

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
CV 技术在视频创作中的应用
本次演讲将介绍在拍摄、编辑等场景,我们如何利用 AI 技术赋能创作者;以及基于这些场景,字节跳动积累的领先技术能力。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论