问题

不少小伙伴在使用gradio构建自己的AI应用时,玩玩采取的是大家熟系的方式创建调用模型。

但是在运行的时候,尤其是在输入问题的逻辑性变强之后就会出现报错:httpcore.ReadTimeout: timed out问题。

原因

看报错原因是超时造成的,分析编写的代码

        response = client.chat.completions.create(
            model="qwen-turbo",
            messages=messages,
            temperature=temp,
            max_tokens=200,  
        )

可以看到在创建模型调用的时候,并没有设置对应的超时时间,简单的处理方法可以在其中加入timeout参数值,并设置一个比较大的值。

解决方法一(简单处理):

直接在创建模型调用时加入timout参数

        response = client.chat.completions.create(
            model="deepseek-chat",
            messages=messages,
            temperature=temp,
            max_tokens=1000,  
            timeout=10000    # 修改这个时间
        )

解决方法二(可参考):

简单通过加入timeout参数无法解决,可能是通过pip install gradio安装会导致缺少httpcore里面的一个配置文件,需要将安装目录改写为如下:

pip install https://gradio-builds.s3.amazonaws.com/aae46d9199e1edc8a22c96aba1ade12f6ebc1da1/gradio-4.21.0-py3-none-any.whl

通过重新安装上述的gradio,在重新运行代码

参考博客;【大模型驯化-gradio】成功解决gradio出现httpcore.ReadTimeout: timed out问题_gradio timeout-CSDN博客

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐