欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python中使用socket发送HTTP请求数据接收不完整问题解决方法

程序员文章站 2023-01-09 22:55:05
由于工作的需求,需要用python做一个类似网络爬虫的采集器。虽然python的urllib模块提供更加方便简洁操作,但是涉及到一些底层的需求,如手动设定user-agen...

由于工作的需求,需要用python做一个类似网络爬虫的采集器。虽然python的urllib模块提供更加方便简洁操作,但是涉及到一些底层的需求,如手动设定user-agent,referer等,所以选择了直接用socket进行设计。当然,这样的话,需要对http协议比较熟悉,http协议这里就不做讲解了。整个python的代码如下:

#!/usr/bin env python
import socket
host="www.baidu.com"
se=socket.socket(socket.af_inet,socket.sock_stream)
se.connect((host,80))
se.send("get / http/1.1\n")
se.send("accept:text/html,application/xhtml+xml,*/*;q=0.8\n")
#se.send("accept-encoding:gzip,deflate,sdch\n")
se.send("accept-language:zh-cn,zh;q=0.8,en;q=0.6\n")
se.send("cache-control:max-age=0\n")
se.send("connection:keep-alive\n")
se.send("host:"+host+"\r\n")
se.send("referer:http://www.baidu.com/\n")
se.send("user-agent: googlebot\n\n")
print se.recv(1024)

代码运行正常,但是发现一个比较重要的问题,运行结果只返回了http的头部信息,网页的内容则没有被返回。网上查找了很多资料,一无所获,经过一夜的思考,突然想到了一个问题,有可能我请求的资源非常大,一个网络的ip包的大小,它是受很多因素制约的,最典型的便是mtu(最大传输单元),那么会不会我请求的数据被分割了,http的头部信息只是一部分,其它数据还在传输或者缓冲区呢?于是做了这样一个遍历:

while true:
  buf = se.recv(1024)
  if not len(buf):
    break
  print buf

这样发现所有请求的数据均被返回了,看来要想做好网络编程,深入理解tcp/ip协议是非常必要的。