使用pycharm + trae插件 开发一个抓取网页的爬虫工具
一、安装trae插件
点击顶部菜单栏「文件」→「设置」 在左侧导航栏选择「插件」,右侧点击「Marketplace」;在搜索框输入 “Trae”,找到插件后点击「安装」,等待安装完成;点击「重启IDE」重启 PyCharm,插件即可生效,安装过程和效果如图:


二、构建提示词
Trae 的核心是 “提示词驱动开发”,提示词写得越具体,生成的代码越贴合需求。因为想做一个相对通用的爬虫工具,所以我的提示词会加一些特别的要求,我的提示词如下:
我是一个开发者,要做一个爬虫工具,抓取指定的网站的内容,具体需求如下:
1、使用playwright库
2、需要构建ui界面,使用pyqt6库
3、使用多线程
4、不同的页面可以选择加载不同的页面结构配置文件
5、抓取的内容可以导出成csv和json等格式选择
6、需要有采集的日志记录,方便后续追踪
生成的项目大体如图:

三、生成项目
在开始提交之前,你要选好你要使用的模型,这个很重要,在模型代码生成模型这块,虽然Claude Sonnet在业界排名数一数二的,但是在国内使用比较困难,一个是网络限制,另一个是费用高(土豪忽略)。经过对比,最近阿里发布的Qwen3 Coder也加强了很多,通过拆分需求,上下文长度也够用,如图:

四、微调生成的项目
Trae 生成的代码大概率能跑通,但难免会有一些不符合自己预期的东西,需要我们做针对性微调。
- 调整功能
通过运行发现生成的UI界面和我预想的有些不太一样,所以我告诉trae帮我调整UI直到满意,如图:

通过运行还发现运行的过程如果执行比较多的任务时候,没办法知道什么时候才能执行完,所以增加进度条功能,也是通过trae帮生成。
- 调整文件
导出的文件不是按日期分目录保存的,通过trae调整。
五、测试再微调
如果运行过程还有什么不合适的,再重复上次流程。
六、结束和Demo展示
到这里其实你会发现,其实要你要做的东西就是不断的跟trae对话,达到你想要的目标。那怎么跟trae对话就很重要了,也就是提示词,整个项目是否达到你要效果,你的第一次提示就起决定性的作用,这里给大家一些建议:
- 生成的项目大体框架如果第一次不行,就重来,不要勉强使用,否则后面模型都是在这个基础上去思考,那出来的东西肯定不会符合你的预期;
- 提示词要够清晰,多尝试;
- 对于很复杂的项目,建议拆分成几个模块去执行,不然中间上下文长度超限了,重新生成,模型会出现错乱的。
- 注意,就算是在同一个项目中,如果本轮的对话和之前没有关联,要重新开对话,不要混在一起用,不然会有上下文关联,达不到你要的效果。
最终Demo

更多推荐
所有评论(0)