欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python3爬虫(二)网络爬虫的尺寸与约束

程序员文章站 2022-04-18 11:28:50
Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、网络爬虫的尺寸: 1.小规模,数据量小,爬取速度不敏感,Requests库,爬取网页 2.中规模,数据规模较大,爬取速度敏感,Scrapy库,爬取网站 3.大规模,大规模,搜索引擎,爬取速度很关键,定制开发,爬 ......

 Infi-chu:

http://www.cnblogs.com/Infi-chu/

 

一、网络爬虫的尺寸:

1.小规模,数据量小,爬取速度不敏感,Requests库,爬取网页
2.中规模,数据规模较大,爬取速度敏感,Scrapy库,爬取网站
3.大规模,大规模,搜索引擎,爬取速度很关键,定制开发,爬取全站

 

二、Robots协议:

1.含义Robots Exclusion Standard 网络爬虫排除标准
2.作用:网站告知网络爬虫哪些页面可以抓取,哪些不行
3.形式:在网站根目录下的robots.txt文件
4.使用:
  a.网络爬虫:自动或人工识别robots.txt,再进行内容爬取
  b.约束性:可以不遵循,但要注意法律风险