如图,最新的1.6这个缓存调用方式response api调用方式,调用必带回复,这是在搞笑吗? 典型场景1: 我缓存一个system,然后带着缓存id+user提问调用:
场景 | response api | context api |
---|---|---|
缓存一个system,然后带着缓存id+user提问调用 | 传入system调用后,需要等他回复,这个回复不知道有啥意义,等他回复完然后才能使用 | 传入system后,秒回cache_id,然后就可以正常使用了 |
除了system之外,我需要缓存几个样例问答,然后带着真实提问进行调用,缓存system+user1+assistant1+user2+assistant2 | 完全不支持,只能输入system+user1+assistant1+user2等他返回不可控的assistant2后才能继续调用 | 文档说不支持以assistant结尾,但实际可以,也是秒返回cache_id,然后cache_id+新问题调用即可 |
本来content api的文档就已经很谜了,缓存结尾必须是system或者user,缓存结尾是user,我再补我正常提问那不就是连着两个user?不过还好实际上结尾能够是assistant,凑合能用。新版的response api强制带回答的,预置问题都没法缓存,要么就强行得缓存一个模型的回答,非常让人疑惑。
工单已经发了若干次了,都表示不会改,产品经理应该是脑子进水了。