@R星校长

第2关：获取文章内容

任务描述

本关任务：编写一个爬虫，请求上一关获取的每个url，获取每篇文章的标题、作者、正文以及文章中全部图片的完整url。

相关知识

为了完成本关任务，你需要掌握xpath的基本使用。

选取节点：

路径表达式	结果
bookstore	选取 bookstore 元素的所有子节点
/bookstore	选取根元素 bookstore。注：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book	选取属于 bookstore 的子元素的所有 book 元素。
//book	选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang	选取名为 lang 的所有属性。

谓语：

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()< 3]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=’eng’]	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

选取未知节点：

路径表达式	结果
/bookstore/*	选取 bookstore 元素的所有子元素。
//*	选取文档中的所有元素。
//title[@*]	选取所有带有属性的 title 元素。

编程要求

根据提示，在右侧编辑器Begin...End中补充代码，请求上一关获取的每个url，将每篇文章的标题、作者、正文以及文章中全部图片的完整url，并按照以下格式保存：

预期输出：

你成功采集了16条数据

开始你的任务吧，祝你成功！

import requests
from lxml import etree


headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36"
}



def parsepage(urls):
    mainbody = []   # 保存新闻内容
    # ********** Begin ********** #

    for url in urls:
        response = requests.get(url,headers=headers)
        result = response.content.decode("utf8")
        html = etree.HTML(result)
        img = html.xpath('//div[@class="highlight"]//p//img//@scr')
    
        # 获取图片的url
        imgurl = []
        split_url = url.split("/")
        split_url.pop(-1)
        if len(img) >= 1:
            for x in img:
                imgurl.append("/".join(split_url)+"/"+x)
        else:
            imgurl=""

        # 获取标题并去除首尾空格
        title = "".join(html.xpath('//div[@class="row"]//div[@class="inner"]//h1/text()')).strip()


        # 获取作者并去除首尾空格
        author = (html.xpath('//div[@class="row"]//span[@class="appellation"]//text()')[-1].split(":")[-1]).strip()

        # 获取正文并去除首尾空格
        cont = html.xpath('//div[@class="content"]//div[@class="highlight"]/p//*[not(@color="navy")]/text()|//div[@class="highlight"]/p/text()')
        content = "".join(cont).strip()
        mainbody.append({"title":title,"author":author,"content":content,"imgurl":imgurl})
        # ********** End ********** #

    return mainbody

这一题太难了，我照着代码都输错好几个地方，最后还有for循环结构出问题，只爬出一条数据，而实验要求是16条