Python3爬虫（一）HTTP相关基础
Infi-chu:
http://www.cnblogs.com/Infi-chu/
一、URI、URL、URN、HTTP
URI：统一资源标志符
URL：是URI的一个子集
URN：是URI的另一个子集，统一资源名称
HTTP协议：
超文本传输协议，是一个基于“请求与响应”模式的、无状态的引用层协议。
HTTP协议采用URL作为定位网络资源的标识。
URL格式 http://host[:port][path]
二、请求
1.请求方法
2.请求的网址
3.请求头
4.请求体
三、响应：
1.响应状态码
2.响应头
3.响应体
四、GET和POST的区别：
1.GET相对于POST较不安全，GET将参数包含在URL里面，POST是通过表单形式传输的，包含在请求体中。
2.GET最多提交的数据大小为1024字节，POST没有限制
3.GET效率较高与POST
五、DOM
1.含义：文档对象模型，定义了访问HTML和XML文档标准
2.DOM：
1.核心DOM：针对任何结构化文档的标准模型
2.XML DOM：针对XML文档的标准模型
3.HTML DOM：针对HTML文档的标准模型
a.整个文档是一个文档节点
b.每个HTML元素是元素节点
c.HTML元素内的文本是文本节点
d.每个HTML属性是属性节点
e.注释是注释节点
【注】
节点树中的节点，批次拥有层级关系，常用的有父节点（parent）、子节点（child）、兄弟节点（sibling）
六、爬虫爬取的步骤：
1.获取网页
2.提取信息
3.保存数据
4.自动化爬取程序
七、代理的作用：
1.突破自身IP访问限制，访问一些平时不能访问的站点
2.访问一些单位或团体的内部资源
3.提高访问速度
4.隐藏真实IP
八、代理的分类
1.根据协议分类：
协议 一般开放端口
FTP 21、2121
HTTP 80、8080、3128
SSL/TLS 443
RTSP 554
Telnet 23
POP3/SMTP 110/25
SOCKS 1080
2.根据匿名程度分类：
a.高度匿名代理
b.普通匿名代理
c.透明代理
d.间谍代理