2024年最全Python爬取淘宝商品数据,价值千元的爬虫外包项目,啃完999页Python面试高频宝典
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

三、入门学习视频
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
配置浏览器驱动:
将下载好的浏览器驱动解压,将解压出的 exe 文件放到Python的安装目录下,也就是和python.exe同目录即可。
或者
把驱动和代码放在同一个路径里面~

Selenium 就是模拟人的行为去操作~ 按照流程~
爬取内容:
-
商品价格
-
商品名字
-
销量
-
店铺名字
-
发货地
1、获取搜索框元素,输入想要搜索的内容 这里咱们呢搜索女士包包的关键词
driver.find_element_by_css_selector(‘#q’).send_keys(‘女式包包’)
2、获取搜索按钮元素,点击搜索
driver.find_element_by_css_selector(‘.search-button’).click()
3、会弹出登陆页面
- 方案一:
- 获取账号和密码元素,用代码输入~ 合理设置好延时,并不会出现验证码~
- 方案二:
- 获取支付宝登陆元素,点击手动扫码登陆

这边选择方案二,方案一是可行的,但是会账号密码,所以这个你们可以自己去尝试
driver.find_element_by_css_selector(‘#login-form > div.login-blocks.sns-login-links > a.alipay-login’).click()
4、获取商品列表页数据

和普通爬虫解析网站数据一样的~获取列表页标签,然后再二次提取。
这里创建一个字典,接收数据,方便等会保存到csv文件。
lis = driver.find_elements_by_css_selector(‘#mainsrp-itemlist .item’)
dit = {}
for li in lis:
time.sleep(1)
price = li.find_element_by_css_selector(‘.ctx-box .price strong’).text + ‘元’ # 商品价格
dit[‘商品价格’] = price
deal = li.find_element_by_css_selector(‘.ctx-box .deal-cnt’).text # 成交量
dit[‘成交量’] = deal
row = li.find_element_by_css_selector(‘.ctx-box .row-2 a’).text # 商品名字
dit[‘商品名字’] = row
shop = li.find_element_by_css_selector(‘.shop > a > span:nth-child(2)’).text # 店铺名字
dit[‘店铺名字’] = shop
city = li.find_element_by_css_selector(‘.row-3 > div.location’).text # 发货地址
dit[‘发货地址’] = city
5、保存数据
(1)Python所有方向的学习路线(新版)
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。

(2)Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

(3)100多个练手项目
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
更多推荐
所有评论(0)