任务：爬取某公开网站上的汽车用户消费投诉数据（'http://tousu.315che.com/tousulist/serial/55467/'），字段包含品牌、投诉内容、品牌车型、单号、投诉问题、投诉时间和经销商，并为完成后续项目做准备。

（1）获取所有品牌名称、链接

（思路：首先向网页发送请求、解析网页，可利用xpath或者beautifulsoup中的find、find_all方法进行品牌名称、链接的提取。）

#（1）获取所有品牌名称、链接
import requests
from lxml import etree

url = 'http://tousu.315che.com/tousulist/serial/55467/'
#发送请求
rq = requests.get(url)
rq.text #获取到的内容是乱码的
rq.encoding = 'UTF-8' #设置编码

#网页解析
html = etree.HTML(rq.text)
#提取数据
brand_name = html.xpath('//*[@id="letterTabList"]/div/a/text()') #品牌名称
brand_link = html.xpath('//*[@id="letterTabList"]/div/a/@href') #品牌链接

#剔除非网址数据
print('处理前的品牌数量为：',len(brand_name), ',品牌链接数量为：',len(brand_link))
ind = brand_link.index('javascript:;') #得到非网址数据所对应的索引位置
del brand_link[ind] #索引回原始数据进行删除
del brand_name[ind]
print('处理后的品牌数量为：',len(brand_name), ',品牌链接数量为：',len(brand_link))

（2）进入单个品牌的界面，爬取其全部投诉的页面网址

（思路：单个品牌可能只有一页的投诉网址，那么直接对该投诉网址发送请求、解析网页、提取数据即可。但是，单个品牌有些有多页的投诉网址，如大众。这时需要找到多页投诉网址间的规律，这其中肯定是需要知道该品牌投诉网址的总页数。投诉网址的总页数可通过投诉宗数除以9得到（因为一个页面只呈现9个投诉网址）。那么各投诉网址之后就可以利用for循环分别发送请求、解析网页、提取数据。如果要对多个品牌进行操作的话，则在外层写for循环即可，循环每一个品牌链接。。同样的，提取到的数据需要全部汇总在一起。）

#①获取第一个品牌的第一页投诉网址中的投诉详情链接
#发送请求
rq1 = requests.get(brand_link[0])
rq1.text
rq1.encoding = 'UTF-8' #设置编码

#网页解析
html1 = etree.HTML(rq1.text)

#提取数据
tousu_link = html1.xpath('/html/body/div[1]/div[2]/div[2]/div[1]/div[2]/div[2]/ul/li/a/@href') #投诉链接

brand_link[0]这个链接下面的“Artega”品牌刚好只有1页的投诉链接，所以这个品牌的投诉链接都爬取完成。

但是像大众这个品牌下是有很多页的投诉链接。所以这时需要找到多页投诉网址间的规律，这其中肯定是需要知道该品牌投诉网址的总页数。投诉网址的总页数可通过投诉宗数除以9得到（因为一个页面只呈现9个投诉网址）。那么各投诉网址之后就可以利用for循环分别发送请求、解析网页、提取数据。

#②获取大众品牌（有多页投诉网址）的投诉详情链接
import math

#发送请求
rq1 = requests.get('http://tousu.315che.com/tousulist/serial/93/') 
rq1.text #乱码
rq1.encoding = 'UTF-8' #设置编码

#网页解析
html1 = etree.HTML(rq1.text)

#提取数据
counts = html1.xpath('/html/body/div[1]/div[2]/div[2]/div[1]/div[2]/div[1]/span/em/text()') #投诉宗数
pages = math.ceil(int(counts[0])/9) #math.ceil表向上取整，即小数部分直接舍去，并向正数部分进1

# http://tousu.315che.com/tousulist/serial/93/0/0/0/1.htm
# http://tousu.315che.com/tousulist/serial/93/0/0/0/2.htm
# http://tousu.315che.com/tousulist/serial/93/0/0/0/3.htm
urls = [] #构建空列表存放当前品牌的投诉网址
for j in range(1, pages+1):
    u = 'http://tousu.315che.com/tousulist/serial/93/' + '0/0/0/' + str(j) +'.htm'
    urls.append(u)
all_tousu_link = [] #构建空列表存放全部投诉链接
for k in urls[:5]: #此处演示只爬取前5个投诉网址
       #发送请求
    rq2 = requests.get(k)
    rq2.encoding = 'UTF-8'

    #解析网页
    html2 = etree.HTML(rq2.text)

    #提取数据
    tousu_link = html2.xpath('/html/body/div[1]/div[2]/div[2]/div[1]/div[2]/div[2]/ul/li/a/@href') #投诉链接

    all_tousu_link.extend(tousu_link)

append和extend的区别

list1 = ['a','b']
list2 = ['c','d']
list1.append(list2) #整个列表追加到列表后面
list1.extend(list2) #一个一个元素追加到列表后面

任务（2）完整的爬取过程如下，其实就是在上面”大众“品牌代码的基础上写一个for循坏爬取每个品牌的投诉链接。

 

#全部品牌的投诉链接爬取
import math

all_tousu_link = [] #构建空列表存放全部投诉链接
for i in range(0, 5): #如果要爬取多页的话，更改”5“这个数值即可
    print('正在爬取' + brand_name[i] +'品牌')

    #发送请求
    rq1 = requests.get(brand_link[i])
    rq1.text #乱码
    rq1.encoding = 'UTF-8' #设置编码

    #网页解析
    html1 = etree.HTML(rq1.text)

    #提取数据
    counts = html1.xpath('/html/body/div[1]/div[2]/div[2]/div[1]/div[2]/div[1]/span/em/text()') #投诉宗数
    pages = math.ceil(int(counts[0])/9) #投诉总页数。math.ceil表向上取整，即小数部分直接舍去，并向正数部分进1

    urls = [] #构建空列表存放当前品牌的投诉网址
    for j in range(1, pages+1):
        u = brand_link[i] + '0/0/0/' + str(j) +'.htm'
        urls.append(u)

    for k in urls:
        #发送请求
        rq2 = requests.get(k)
        rq2.encoding = 'UTF-8'

        #解析网页
        html2 = etree.HTML(rq2.text)

        #提取数据
        tousu_link = html2.xpath('/html/body/div[1]/div[2]/div[2]/div[1]/div[2]/div[2]/ul/li/a/@href') #投诉链接
        #存储数据  
        all_tousu_link.extend(tousu_link)

（3）循环所有投诉页面，爬取其中的数据（品牌、投诉内容、品牌车型、单号、投诉问题、投诉时间和经销商）

思路：循环每个投诉页面网址，发送请求、解析网页、提取数据、保存数据。