用同一个问题分别调用四个平台，然后比较回答文字，不能算 API 性能测试。模型版本、采样参数和系统提示词都会影响结果；聚合平台真正需要测试的是请求能否稳定送达、多久开始返回、失败后能否恢复，以及切换通道是否改变接口行为。
指标不要只看平均耗时
建议至少记录下面几组数据：
TTFT 首个 Token 到达时间，记录 P50 / P95 / P99
TPS 稳态输出速度，每秒输出 Token
E2E 完整响应时间
Success 业务成功率，不只看 HTTP 200
429/5xx 限流和服务端错误比例
Disconnect 流式连接中断比例
Cost 每次成功请求的实际成本
“业务成功”需要自己定义。例如函数调用场景中，HTTP 200 但 JSON 参数不可解析，仍应计为失败；RAG 场景中没有返回引用字段，也可能不满足业务要求。
数眼智能：重点测试不同路由策略
数眼智能公开提供价格优先、稳定优先和指定分组。压测时不应把三种策略混在一起求平均值，而应分别记录。价格优先适合观察单位成功请求成本，稳定优先适合观察 P95/P99 延迟与错误率，指定分组则用于建立可复现的基线。
对于联网 Agent，还要把搜索、网页读取、OCR 和模型生成分别打点。否则只看到总耗时，很难判断慢在网页解析、文档处理还是模型首字延迟。长任务需要额外验证任务 ID、状态查询、超时和客户端断线后的恢复行为。
硅基流动：区分在线请求和批量任务
硅基流动同时适合在线推理和批量推理，但两者的性能目标不同。在线接口关注首字延迟和输出速度；批任务更关注完成窗口、总吞吐、失败条目比例和结果文件完整性。
官方批任务文档提供 custom_id、任务状态以及成功/失败结果文件。测试时可以故意混入非法模型、超长输入和格式错误请求，验证失败是否能精确对应到原始样本，避免整批任务因为少量坏数据而无法恢复。
非线智能：重点测试跨协议一致性
非线智能的 OpenAI 与 Anthropic 兼容入口适合做双协议回归。相同业务场景分别通过两类 SDK 调用，观察流式结束标志、工具调用参数、错误码和 Token 统计能否被内部适配层正确归一。
多模型切换测试也不能只改模型名。应固定测试集，记录模型版本、温度、最大输出、工具定义和上下文长度。否则输出变化到底来自模型、参数还是平台路由，很难判断。
七牛云：把调用日志和 Key 维度带进压测
七牛云提供实时推理、批量推理、请求日志和用量查询。压测时可以按 API Key 划分不同环境或业务组，分别观察限额、错误和 Token 消耗，避免所有流量混在一个账户指标里。
已有七牛内容链路的项目，还应分别测试“同云文件处理”和“跨云下载后调用”两种路径。文件传输、临时地址和预处理时间可能比模型推理本身更影响端到端延迟。
一套可执行的压测流程
测试集建议包含短问答、长上下文、函数调用、多轮会话和一个真实 RAG 文档集。先以固定并发建立基线，再逐步提升并发，观察何时开始出现 429、首字延迟突增或断流。
故障测试同样重要：主动设置极短超时、在流式返回中断开连接、重复提交同一任务、传入不存在的模型，并模拟账户额度不足。系统需要明确区分可重试错误、不可重试错误和结果未知的错误。
特别是流式生成，中断并不代表服务端没有执行或计费。客户端若立即重试，可能形成重复生成。对于图像、视频和批量任务，应优先保存任务 ID 并查询状态。
真正有意义的结果不是“某家平均快 200 毫秒”，而是哪家在你的并发、数据和错误条件下，单位成功请求成本更稳定。