python-selenium


一、安装
1-1.安装selenium
pip install selenium
1-2安装webdriver
webdriver需要和对应的浏览器版本以及selenium版本对应,selenium3.141.0=chrom84.0.4147.89
http://chromedriver.storage.googleapis.com/index.html
查看selenium版本

cmd>>python >>> import selenium>>> help(selenium)

1-3webdriver安装路径
Win:复制webdriver到Python安装目录下
二、启动
1-1启动chrome

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('http://www.baidu.com/')

1-2参数配置

#coding=utf-8
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys

options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
options.add_argument('--headless') #//增加无界面选项
options.add_argument('--disable-gpu') #//如果不加这个选项,有时定位会出现问题
# 防止被网站识别,开发者模式
options.add_experimental_option('excludeSwitches',['enable-automation'])

browser = webdriver.Chrome(options = options)
murl = 'https://www.baidu.com'
browser.get(murl)
print(f"browser text = {browser.page_source}")
browser.quit()

三、selenium选择器
模拟浏览器无非请求---->显示页面----->寻找标签 ------>点击标签的事件,所以selenium的关键是怎么找到页面中的标签,进而触发标签事件;

1.通过标签id属性进行定位

browser.find_element(By.ID,'kw').send_keys("美女")
browser.find_element_by_id('kw').send_keys('性感')

2.通过标签name属性进行定位

browser.find_element_by_name("wd").send_keys("Linux")
browser.find_element(By.NAME,'wd').send_keys("美女")

3.通过标签名进行定位

browser.find_element_by_tag_name("input").send_keys("selenium")
 browser.find_element(By.TAG_NAME, 'input').send_keys('aaa')

4.通过CSS查找方式进行定位

browser.find_element(By.CSS_SELECTOR, '#kw').send_keys('python django')
browser.find_element(By.CSS_SELECTOR, '#kw').send_keys('python 之美')

5.通过xphan方式定位

browser.find_element_by_xpath('//*[@id="kw"]').send_keys("python Tornado")
browser.find_element(By.XPATH, '//*[@id="kw"]').send_keys('吐槽大会')

6.通过搜索 页面中 链接进行定位

有时候不是一个输入框也不是一个按钮,而是一个文字链接,我们可以通过link

browser.find_element_by_link_text("新闻").click()

7.通过搜索 页面中 链接进行定位 ,可以支持模糊匹配

browser.find_element_by_partial_link_text("新").click()
browser.find_element_by_partial_link_text("闻").click()

8.小结

上述均可以改写成find_element(By.ID,‘kw’)的形式

find_elements_by_xxx的形式是查找到多个元素,结果为列表

import time
from selenium import webdriver#驱动浏览器
from selenium.webdriver import ActionChains #滑动
from selenium.webdriver.common.by import By #选择器
from selenium.webdriver.common.by import By #按照什么方式查找,By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC  #等待所有标签加载完毕
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载完毕 寻找某些元素

browser=webdriver.Chrome() #调用Chrome 驱动,生成浏览器对象
wait=WebDriverWait(browser,10) #设置selenium等待浏览器加载完毕的最大等待时间

try:
    browser.get('https://www.baidu.com/')


    #通过标签id属性进行定位
    # browser.find_element(By.ID,'kw').send_keys("美女")
    # browser.find_element_by_id('kw').send_keys('性感')

    #通过标签name属性进行定位
    # browser.find_element_by_name("wd").send_keys("Linux")
    # browser.find_element(By.NAME,'wd').send_keys("美女")

    #通过标签名称进行定位
    # browser.find_element_by_tag_name("input").send_keys("selenium")
    # browser.find_element(By.TAG_NAME, 'input').send_keys('aaa')

    # 通过CSS查找方式进行定位
    # browser.find_element(By.CSS_SELECTOR, '#kw').send_keys('python django')
    # browser.find_element(By.CSS_SELECTOR, '#kw').send_keys('泰山')

    # 通过xphan方式定位
    # browser.find_element_by_xpath('//*[@id="kw"]').send_keys("python Tornado")
    # browser.find_element(By.XPATH, '//*[@id="kw"]').send_keys('吐槽大会')

    # 通过搜索 页面中 链接进行定位
    # browser.find_element_by_link_text("新闻").click()

    #通过搜索 页面中 链接进行定位 ,可以支持模糊匹配
    # browser.find_element_by_partial_link_text("新").click()
    # browser.find_element_by_partial_link_text("闻").click()


finally:
    browser.find_element_by_id("su").click()
    time.time(3)
    browser.close()  # 关闭浏览器browser.quit()

四、等待元素被加载
#1、selenium只是模拟浏览器的行为,而浏览器解析页面是需要时间的(执行css,js),一些元素可能需要过一段时间才能加载出来,为了保证能查找到元素,必须等待

#2、等待的方式分两种:
wait=WebDriverWait(browser,10) #显式等待
wait1=browser.implicitly_wait(10) #隐式等待
wait.until(EC.presence_of_element_located((By.CLASS_NAME,‘tH0’)))

显式等待:指定等待某个标签加载完毕
隐式等待:等待所有标签加载完毕

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐