开发者们好!APIPark V1.4 功能更新给大家带来「负载均衡」、「APIKey 资源池」以及「Token 消耗统计」等重要功能,看看是否能帮助到大家更好地使用 AI 大模型~
V1.4 版本说明
新功能
[❤️新增] 新增支持 AI 模型负载均衡:同时接入多款大模型,当原定的 AI 服务商无法访问时,实现平滑的故障转移,让您的客户不会受到 AI 服务商的异常影响。
[❤️新增] 新增支持 AI APIKey 资源池:可针对同一 AI 服务商录入多个APIKey,系统自动调度可用的APIKEY,摆脱原厂的各种限制。
[❤️新增] 新增 AI token 消耗统计:可查看指定时间范围内,调用各 AI 服务的 API 所消耗的 token数量。
点击跳转:Github 仓
AI 模型负载均衡是一种智能调度机制,旨在确保 AI 服务的高可用性和稳定性。当主要的 AI 供应商服务出现故障时,负载均衡能够自动将请求切换到备用的 AI 供应商上。
负载均衡能有效避免因供应商问题导致的服务中断,保障 AI 应用的连续运行,提升用户体验。
负载优先级
APIPark 负载均衡支持对供应商进行优先级排序,确保在异常情况下,能够按照预设的优先级顺序进行切换,进一步优化资源利用和响应速度。
APIKey 资源池是一个集中管理和调配 APIKey 的功能,为 AI 服务的稳定运行提供有力支持。在资源池中,您可以查看和管理各个供应商的 APIKey,包括其状态(如正常、超额、过期等)和调用优先级。只需要通过拖拉操作,您就可以轻松调整 APIKey 的优先级顺序,以适应不同的业务需求。
当某个 APIKey 出现超额或过期等问题时,系统自动按优先级启用其他 APIKey,确保 AI 服务的持续可用。当然,您也可以使用 AI APIKey 资源池对 AI 调用资源额度进行统一再分配。
AI API 管理用于集中展示和管理调用各个 AI 供应商的 API。您可以在 APIPark 上查看所有调用的 AI API 的详细信息以及 token 的消耗情况。
APIPark 支持在选定时间范围内查看调用了该模型供应商能力的所有 API,以及每一个API 的调用的模型和使用的 token 数量。
这一功能方便您对该模型的资源消耗进行成本管控。
此外,您还可以在 API 列表中查看特定 API 的路由配置以及该 API 的 Prompt 信息。
🔗更详细使用教程可以查看:APIPark 产品使用文档