解决gradio出现httpcore.ReadTimeout: timed out问题
·
问题
不少小伙伴在使用gradio构建自己的AI应用时,玩玩采取的是大家熟系的方式创建调用模型。
但是在运行的时候,尤其是在输入问题的逻辑性变强之后就会出现报错:httpcore.ReadTimeout: timed out问题。
原因
看报错原因是超时造成的,分析编写的代码
response = client.chat.completions.create(
model="qwen-turbo",
messages=messages,
temperature=temp,
max_tokens=200,
)
可以看到在创建模型调用的时候,并没有设置对应的超时时间,简单的处理方法可以在其中加入timeout参数值,并设置一个比较大的值。
解决方法一(简单处理):
直接在创建模型调用时加入timout参数
response = client.chat.completions.create(
model="deepseek-chat",
messages=messages,
temperature=temp,
max_tokens=1000,
timeout=10000 # 修改这个时间
)
解决方法二(可参考):
简单通过加入timeout参数无法解决,可能是通过pip install gradio安装会导致缺少httpcore里面的一个配置文件,需要将安装目录改写为如下:
pip install https://gradio-builds.s3.amazonaws.com/aae46d9199e1edc8a22c96aba1ade12f6ebc1da1/gradio-4.21.0-py3-none-any.whl
通过重新安装上述的gradio,在重新运行代码
参考博客;【大模型驯化-gradio】成功解决gradio出现httpcore.ReadTimeout: timed out问题_gradio timeout-CSDN博客
更多推荐
所有评论(0)