#-*- coding=utf-8 -*-#@Time : 2020/12/16 0016 下午 7:09#@Author :东南大学软件学院陈洋#@File :spider.py#@Software :PyCharm

from bs4 import BeautifulSoup #网页解析，获取数据

import re #正则表达式，进行文字匹配

import urllib.request,urllib.error #制定URL，获取网页数据

import xlwt #进行excel操作

import sqlite3 #进行sqlite数据库操作

defmain():

baseurl="https://movie.douban.com/top250?start="

#1.爬取网页

datalist=getData(baseurl)

savepath=".\\豆瓣电影Top250.xls"

#3.保存数据

#saveData(savepath)

#askURl("https://movie.douban.com/top250?start=0")

#影片详情链接的规则

findLink=re.compile(r'') #创建正则表达式对象，表示规则(字符串的模式)#影片图片

findImgSrc=re.compile(r'

findTitle=re.compile(r'(.*)')#影片评分

findRating=re.compile(r'(.*)')#找到评价人数

findJudge=re.compile(r'(\d*)人评价')#找到概况

findInq=re.compile(r'(.*)')#找到影片的相关内容

findBd=re.compile(r'

(.*?)

',re.S)#爬取网页

defgetData(baseurl):

datalist=[]for i in range(0,1): #调用获取信息的函数10次

url=baseurl+str(i*25)

html=askURl(url) #保存获取到的网页源码

#2.逐一解析数据

soup=BeautifulSoup(html,"html.parser")for item in soup.find_all('div',class_="item"): #查找符合要求的字符串，形成列表

#print(item) #查看电影item全部信息

data =[] #保存一部电影的全部信息

item =str(item)#影片详情的超链接

link=re.findall(findLink,item)[0] #re库用来通过正则表达式查找指定的字符串

data.append(link) #添加链接

imgSrc=re.findall(findImgSrc,item)[0]

data.append(imgSrc)#添加图片

titles=re.findall(findTitle,item) #片名可能只有一个中文名，没有外国名

if(len(titles)==2):

ctitle=titles[0]

data.append(ctitle)#添加中文名

otitle=titles[1].replace("/","") #去掉无关的符号

data.append(otitle) #添加外国名

else:

data.append(titles[0])

data.append(' ') #外国名留空

rating=re.findall(findRating,item)[0]

data.append(rating)#添加评分

judgeNum=re.findall(findJudge,item)[0]

data.append(judgeNum)#添加评价人数

inq=re.findall(findInq,item)if len(inq)!=0:

inq=inq[0].replace("。","") #去掉句号

data.append(inq) #添加概述

else:

data.append(" ") #留空

bd=re.findall(findBd,item)[0]

bd=re.sub('
(\s+)?'," ",bd) #去掉

bd=re.sub('/'," ",bd) #替换/

data.append(bd.strip()) #去掉前后的空格

datalist.append(data)#把处理好的一部电影信息放入datalist

print(datalist)returndatalist#得到指定URL网页内容

defaskURl(url):

head={ #模拟浏览器头部信息，向豆瓣服务器发送请求

"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}#用户代理，表示告诉豆瓣服务器，我们是什么类型的机器

request=urllib.request.Request(url,headers=head)

html=""

try:

response=urllib.request.urlopen(request)

html=response.read().decode("utf-8")#print(html)

excepturllib.error.URLError as e:if hasattr(e,"code"):print(e.code)if hasattr(e,"reason"):print(e.reason)returnhtml#3.保存数据

defsaveData(savepath):print("save....")if __name__=="__main__": #当程序执行时

#调用函数

main()