欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

python爬取豆瓣top250的电影数据并存入excle

程序员文章站 2022-06-17 08:52:27
爬取网址: https://movie.douban.com/top250 输出的list截图: 如果有小伙伴不知道为什么要这样存放数据的话可以看下这个网址:https://www.cnblogs.com/nancyzhu/p/8401552.html,我存入excle的思路就是来源于这个网址,写的 ......

爬取网址: https://movie.douban.com/top250


一:爬取思路(新手可以看一下) :
      1:定义两个函数,一个get_page函数爬取数据,一个save函数保存数据,mian中向get_page函数传递url和运save函数接受get_page函数传递过来的值
      2:准备动手
二:爬取前的准备
  我是pyhton3 pycharm
  需要准备的库 requests,lxml,xlwt
  requests解析url
  lxml解析网页,获取数据
  xlwt 向excle写入数据
三:代码实现(这里只是为了保存数据做演示,没有对数据做处理)
  
import  requests
from  lxml  import etree
import xlwt

all_list=[]#传入save函数的结果集
def get_page(url): res=requests.get(url) if res.status_code==200: html=etree.html(res.content) all=html.xpath('//div[@class="article"]/ol/li')#所有的数据都在li标签下,我们一这个为总节点 for detail in all: title=detail.xpath('.//div[@class="hd"]/a/span[1]/text()')[0]#电影名字 score=detail.xpath('.//span[@class="rating_num"]/text()')[0]#评分 comment_sum=detail.xpath('.//div[@class="star"]/span[4]/text()')[0]#评论人数 quote=detail.xpath('.//p[@class="quote"]/span/text()')#引言 由于有的电影没有引言,不判断会报错 if len(quote)==0: quote='暂无引言' else: quote=quote[0] list=[] list.append(title) list.append(score) list.append(comment_sum) list.append(quote)
        print(list) #输出结果在下面 all_list.append(list)#将所有的list都添加进一个list else: print(res.status_code1) def save(lists): book=xlwt.workbook() sheet=book.add_sheet('douban') head = ['名字', '评分', '评价人数', '引言'] for h in range(len(head)): sheet.write(0, h, head[h])#写一个表头 row=1#控制行 for list in lists: print(list) col=0#控制列 for s in list:#循环我们的list的值 sheet.write(row,col,s) col+=1 row+=1 book.save("doubantop250.xls") if __name__ == '__main__': #0 25 50 75 for x in range(0,11): if x==0: url='https://movie.douban.com/top250?start=0' get_page(url) else: x=x*25 url='https://movie.douban.com/top250?start='+str(x) get_page(url) save(all_list)#讲结果集传入save函数

输出的list截图:

python爬取豆瓣top250的电影数据并存入excle


 

如果有小伙伴不知道为什么要这样存放数据的话可以看下这个网址:,我存入excle的思路就是来源于这个网址,写的真的很容易理解 我喜欢.所以本文就不在做过多赘述,有问题的或者觉得有更好的方法的可以一起交流一下