APIPark V1.6 上线:全面支持自定义渠道 AI 大模型接入!

最佳实践deepseek开源

开发者们好!APIPark V1.6 版本重磅上线!现已全面支持自定义渠道 AI 大模型接入,只要符合 OpenAI 格式的大模型都可以快捷接入!

V1.6 版本说明

1. 统一模型调度接口

1.1 新增全局 Model 参数路由:在任意已接入渠道中,通过 "model=供应商ID/模型名称" 格式参数即可直接调用目标模型。

1.2 自动完成渠道路由、鉴权参数传递、响应格式标准化

2. 新增 LLM 供应商接入

2.1 预集成六大服务平台:火山引擎(字节跳动云服务)、阿里百炼云(阿里巴巴智能计算平台)、Hugging Face(开源模型社区)、Ollama(本地大模型框架)、LM Studio(桌面端模型工具)、Xinference(分布式推理平台)等。

2.2 支持自定义渠道接入:支持符合 OpenAI 接口标准的第三方服务快速接入;通过标准化配置流程,5分钟完成新渠道注册!

3. 支持自定义模型

3.1 全渠道支持自定义模型选项

3.2 提供新增的模型参数预设模板功能

3.3 支持自定义渠道模型参数(最大token数 / 温度值 / 频率惩罚等)

4. 模型别名映射

4.1 AI 服务配置新增模型名称重定向功能4.2 兼容历史配置,原有模型标识仍可正常使用****

接入供应商/自定义模型

1)添加 AI 供应商

打开 APIPark 界面前往「系统设置」 - 「AI 模型」,点击右侧「添加供应商」。

picture.image

可以在模型供应商列表处添加系统内置的模型,也可以点击右侧「添加自定义供应商」,二者配置路径一样。

picture.image

picture.image

添加完供应商后,点击添加该供应商的「默认模型」,在弹窗处配置参数模板(非必要), APIPark 已经内置了热门的参数模板,选择右侧「载入预制模版」的目标参数即可一键配置。

picture.image

配置完成后,「默认模型」会自动匹配刚才您填写的模型名称,然后您需要把 APIKey 复制到下方栏处,将「LLM 状态管理」改为启用状态即可保存。

picture.image

2)创建发布 AI 服务

进入「工作空间」在侧边栏中选择 「添加服务」创建服务,依次配置目标 AI 服务的基本信息、归属、订阅审核形式等信息,保存完成即可在服务列表处可见新创建的「AI 服务」。

picture.image

picture.image

打开该「AI 服务」选择左侧「发布」并配置完成「新建版本」的基本信息即可发布。

picture.image

picture.image

当 AI 服务被发布后,在「API 门户」处可见成功上架的 API, 即可调用使用了。

picture.image

模型别名映射

通过 APIPark 输出的 AI 统一接口,支持全局model参数路由。可在任意已接AI接口中,通过 model=供应商ID/模型名称 的格式参数即可直接调用目标模型。并且自动完成渠道路由、鉴权参数传递、响应格式标准化。示例:"model":"volcengine/llama3-8b" 调用火山引擎的 Llama3 模型

具体指定的 model 参数值可以在 AI Model 列表中点击 Models 的数字查看具体的模型参数值。

picture.image

picture.image

但部分模型的参数值名称过长,为了在开发调用过程中使用更加便捷,APIPark 提供了模型别名映射的功能。

可在对应的「AI 服务」配置中找到「模型重定向」配置,自定义简化的模型值映射为原模型值。

picture.image

例如: 如果需要简化火山引擎下的豆包模型的参数值,那么可通过以下的Json格式配置,将model的参数值通过「doubao」映射为「volcengine_maas/doubao-1-5-lite-32k-250115」。

picture.image

该功能兼容历史配置,原有模型值仍可正常使用。

以上为 APIPark V1.6 版本的重要功能,如果觉得项目对您有帮助,请前往 Github 仓给我们一颗星星,让我们更有动力!感谢!

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
IDC 大模型应用落地白皮书
大模型技术已深度融入业务实践,各企业期望其释放更大商业价值。 但大模型落地之路面临许多挑战和顾虑。 如何精准对接业务需求与发展蓝图,制定切实可行的大模型落地策略? IDC发布首个大模型应用策略与行动指南 一为您揭晓一
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论