ChatGPT api大更新， gpt-3.5-turbo-16k,gpt-3.5-turbo …

推荐品牌 · 发表于 2023-8-15 09:21:44

今天OpenAI官方更新了API，增加了gpt-3.5-turbo-16k、gpt-3.5-turbo-0613、gpt-3.5-turbo-16k-0613、gpt-4-0613这几个版本，并增加了自定义函数调用功能，降低了使用费用。

官方新闻

gpt3.5最大跟新是16k版本，token上限从4k增加到16k，这对于大型文档和数据措置的提示是巨大的。
gpt4增加了0613版本，相对于本来的gpt4模型，RPM（每分钟调用次数）和TPM（每分钟token数）都得到了巨大提升。

带GPT4 api的新模型

此次更新不单对有gpt4 api的账号是巨大提升，对于最普通的注册账号，提升也非常大，gpt-3.5-turbo-16k对比本来gpt-3.5-turbo每分钟使用次数从3次提升到了60次，不会呈现之前经常遇到的使用次数上限的问题，基本满足个人用户使用。

普通账号的新模型

增加函数调用功能，可以在ChatCompletion中增加fuctions来调用函数，functions中需要以json格式指定函数名、描述、变量、参数。
这应该是一次革命性的更新，相当于网页端plugin的扩大版，配合python强大的类库，能让chatgpt深度融合到各种应用中。
function calling 测试案例见https://zhuanlan.zhihu.com/p/637187805

自定义函数调用案例

自定义函数

使用费用方面：
gpt-3.5-turbo输入费用降低25%，从$0.002/1000token 美元降低至$0.0015/1000token
新出的gpt-3.5-turbo-16k费用为gpt-3.5-turbo的2倍
embedding模型text-embedding-ada-002降低 75%，此刻是$0.0001/1000token，langchain中使用chatgpt embedding的用户又可以稍微节约点费用了。

浮生￡如梦 · 发表于 2023-8-15 09:22:34

langchain已经跟进了function功能，chatgpt应用会大幅扩张了吗？

李小魅儿 · 发表于 2023-8-15 09:23:05

看来定义函数function也是一个艺术活，我一开始还以为是根据prompt自动生成的定义函数呢。那这个应用场景是提前预知prompt?

樱索泪 · 发表于 2023-8-15 09:23:52

也不是，刚试了下，应该是根据prompt和函数的description匹配来实现的，这个匹配是大语言模型的强项

心的马溜 · 发表于 2023-8-15 09:24:04

好的，这意味着开发者需要提前准备很多descriptions, 根据用户prompt来自动绑定某个prompt，也就是动态添加这个function数组到prompt, 这过程是如何完成？除非是问题先自己准备好？

我是你洲总 · 发表于 2023-8-15 09:24:16

应该是类似plugin，问题类型是预设好的，也可以是某个项目的中间过程中用到，如果能实现任意输入，那不就是AGI了么

		自动登录	找回密码
密码			立即注册

ChatGPT api大更新， gpt-3.5-turbo-16k,gpt-3.5-turbo …

本帖子中包含更多资源