APIPark 新增 AI模型负载均衡,APIKey 资源池以及 AI Token 消耗统计功能
开发者们好!APIPark V1.4 功能更新给大家带来「负载均衡」、「APIKey 资源池」以及「Token 消耗统计」等重要功能,看看是否能帮助到大家更好地使用 AI 大模型~
V1.4 版本说明
新功能
🚀 负载均衡
✨ APIKey 资源池
📊 AI API 管理
评论区

APIPark 新增 AI模型负载均衡,APIKey 资源池以及 AI Token 消耗统计功能

开源最佳实践AIGC
推荐
GPU云服务器
了解详情 
GPU云服务器是提供 GPU 算力的弹性计算服务,适用于机器学习、视觉处理等多种场景

开发者们好!APIPark V1.4 功能更新给大家带来「负载均衡」、「APIKey 资源池」以及「Token 消耗统计」等重要功能,看看是否能帮助到大家更好地使用 AI 大模型~

V1.4 版本说明

新功能

[❤️新增] 新增支持 AI 模型负载均衡:同时接入多款大模型,当原定的 AI 服务商无法访问时,实现平滑的故障转移,让您的客户不会受到 AI 服务商的异常影响。

[❤️新增] 新增支持 AI APIKey 资源池:可针对同一 AI 服务商录入多个APIKey,系统自动调度可用的APIKEY,摆脱原厂的各种限制。

[❤️新增] 新增 AI token 消耗统计:可查看指定时间范围内,调用各 AI 服务的 API 所消耗的 token数量。

点击跳转Github 仓


🚀 负载均衡

AI 模型负载均衡是一种智能调度机制,旨在确保 AI 服务的高可用性和稳定性。当主要的 AI 供应商服务出现故障时,负载均衡能够自动将请求切换到备用的 AI 供应商上。

负载均衡能有效避免因供应商问题导致的服务中断,保障 AI 应用的连续运行,提升用户体验。

picture.image

负载优先级

APIPark 负载均衡支持对供应商进行优先级排序,确保在异常情况下,能够按照预设的优先级顺序进行切换,进一步优化资源利用和响应速度。

picture.image

APIKey 资源池

APIKey 资源池是一个集中管理和调配 APIKey 的功能,为 AI 服务的稳定运行提供有力支持。在资源池中,您可以查看和管理各个供应商的 APIKey,包括其状态(如正常、超额、过期等)和调用优先级。只需要通过拖拉操作,您就可以轻松调整 APIKey 的优先级顺序,以适应不同的业务需求。

当某个 APIKey 出现超额或过期等问题时,系统自动按优先级启用其他 APIKey,确保 AI 服务的持续可用。当然,您也可以使用 AI APIKey 资源池对 AI 调用资源额度进行统一再分配。

picture.image

📊 AI API 管理

AI API 管理用于集中展示和管理调用各个 AI 供应商的 API。您可以在 APIPark 上查看所有调用的 AI API 的详细信息以及 token 的消耗情况。

picture.image

APIPark 支持在选定时间范围内查看调用了该模型供应商能力的所有 API,以及每一个API 的调用的模型和使用的 token 数量。

这一功能方便您对该模型的资源消耗进行成本管控。

此外,您还可以在 API 列表中查看特定 API 的路由配置以及该 API 的 Prompt 信息。

🔗更详细使用教程可以查看APIPark 产品使用文档

picture.image

0
0
0
0
关于作者
相关资源
CV 技术在视频创作中的应用
本次演讲将介绍在拍摄、编辑等场景,我们如何利用 AI 技术赋能创作者;以及基于这些场景,字节跳动积累的领先技术能力。
相关产品
推荐
GPU云服务器
GPU云服务器是提供 GPU 算力的弹性计算服务,适用于机器学习、视觉处理等多种场景
了解详情 
云数据库 PostgreSQL 版
云数据库 PostgreSQL 版是一种基于云平台的即开即用、稳定可靠、灵活弹性、易于使用的关系型数据库服务,RDS for PostgreSQL完全兼容原生PostgreSQL
了解详情 
日志服务
日志服务是火山引擎的实时日志平台,提供日志采集、检索分析等功能
了解详情 
评论
未登录
看完啦,登录分享一下感受吧~
正在加载中...