欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

程序员文章站 2022-04-12 16:32:12
都很有规律不是吗?而在Scrapy里面,就可以设定我们想要的规律,Scrapy就可以对这些符合规律的网址及页面信息进行处理。先来看看成果吧,这一部分中,我们想要的结果就是输出排行榜里面的电影名称: 而且我们其实可以做的更好。 Pycharm用这个文件夹创建Project,douban/db处创建一个 ......
打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

都很有规律不是吗?而在Scrapy里面,就可以设定我们想要的规律,Scrapy就可以对这些符合规律的网址及页面信息进行处理。先来看看成果吧,这一部分中,我们想要的结果就是输出排行榜里面的电影名称:

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

而且我们其实可以做的更好。

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

Pycharm用这个文件夹创建Project,douban/db处创建一个方便IDE运行的文件run.py

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

输入

from scrapy.cmdline import execute

execute(['scrapy', 'crawl', 'douban'])

打开douban/db/items.py,如该文件的名字,这个是我们从豆瓣这个“仓库”里取出来的“货”,我们想要的是什么“货”呢?电影名字。

classDbItem( scrapy.Item ) :

name = scrapy.Field ()

douban/db/db/spiders下创建spider.py,这个文件用来爬取网页,处理网址,我们需要告诉他我们想去的“仓库”该怎么走,该怎么爬。

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

“货物”信息的获取

下面轮到parse_item这个人来干活了,他需要从上述指定地点找到我们要的“货物”的信息,“货物”位于何处可以通过Xpath来查找。网页上点右键查看源代码,被给包住了,Xpath的功能就是通过这些标签来找到特定信息。

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

浏览器F12打开调试控制台,

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

指到该信息处,右侧就会显示出对应的代码

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

点右键有个好东西,

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

这个就可以拿来用啦。不幸的是,Scrapy经常不能识别出来,所以我们还需要会一点Xpath的语法(查一查10分钟搞定),参考Copy的自己修改一下。这里推荐Chrome的Xpath Helper这个插件,可以查看自己写的Xpath正不正确。

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

def parse_item(self,response):

name=response.xpath('//*[@class="title"][1]')

print(name)

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

好了,测试一下,运行run.py出现以下问题,403 forbidden,网站怀疑我们是机器人操作,

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

于是在setting.py里面伪装我们是浏览器的正常操作,

增加一个

打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!

 

总结

Scrapy可用来爬特定规则的网址,并进行处理;allow、follow等参数告诉程序如何“顺蔓摸瓜”;Xpath可方便的找出网页中的信息,本文举到的例子仅仅是提取电影名,我们其实如文章一开始的图片可以做的更丰富一些,对分数、演员、导演等加入一些判断,选择我们需要的电影。

进群:125240963   即可获取源码哦!