欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

python urllib2模块学习

程序员文章站 2022-11-27 14:00:47
urllib2是urllib扩展的库,不仅可以使用http协议,而且可以扩展到ftp等协议。 常用函数一:urlopen(url, data=none, timeout=) 最基本...

urllib2是urllib扩展的库,不仅可以使用http协议,而且可以扩展到ftp等协议。

常用函数一:urlopen(url, data=none, timeout=)

最基本的用法和urllib下面的urlopen(url, data=none)一样,传递一个url参数, 添加post需要的data,返回值是一个类似于file的对象, 可以使用通常的文件操作来操作这个对象,比如read,write等。

urllib2.urlopen()参数可以用一个request的对象来代替url,而且增加了一个urlerror异常,对于http协议的错误,增加了一个httperror的异常,其中这个httperror自动变成一个合法的response来返回。

最简单的使用情况:

import urllib2

url = "https://www.baidu.com"
response = urllib2.urlopen(url)
print response.info()

注意url一定要添加协议类型,也就是https://,其中response.info()可以获取返回来的http response head的信息,response.read()用来获取response的body信息。

默认如果只有一个url参数,那么默认是使用http get 的方法来访问url。

如果访问的url不存在, 那么会返回一个httperror

import urllib2

url = "https://www.jnrain.com/go"
response = urllib2.urlopen(url)
print response.info()
print response.read()

其中错误信息如下:

   raise httperror(req.get_full_url(), code, msg, hdrs, fp)
urllib2.httperror: http error 404: not found
可以看到是404错误,默认情况下,只要不是2xx的返回码,都会被当成错误对待。可以通过httperror来捕捉错误信息

import urllib2

url = "https://www.jnrain.com/go"
try:
    response = urllib2.urlopen(url)
    print response.info()
    print response.read()
except urllib2.httperror, e:
    print e.getcode()
    print e.reason
    print e.geturl()
    print "-------------------------"
    print e.info()
    print e.read()
通过捕捉错误可以打印出详细的错误信息:

404
not found
https://www.jnrain.com/go
-------------------------
server: nginx/1.4.1
date: wed, 19 feb 2014 08:51:50 gmt
content-type: text/html; charset=gb18030
content-length: 168
connection: close


404 not found

404 not found
nginx/1.4.1



urlopen还可以使用request对象作为参数,不过首先我们得先创建一个request的对象, 通过request类来完成, request类有很多不同的方法, 比较常用的是add_header(self, key, val)方法, 这个方法可以添加我们自己的http header

import urllib2

request = urllib2.request("https://www.jnrain.com/wforum/logon.php")
request.add_header('user-agent', 'internet explorer')
try:    
    response = urllib2.urlopen(request)
except urllib2.urlerror, e:
    print e.code
    
headers = response.info()
data = response.read()

这样我们的http request头部中的user-agent就变成了internet explorer,如果创建reques的时候不添加data, 那么默认使用get方法,如果添加data,那么使用post方法,下面是request类中的方法:

def get_method(self):
        if self.has_data():
            return "post"
        else:
            return "get"

    # xxx these helper methods are lame

    def add_data(self, data):
        self.data = data

    def has_data(self):
        return self.data is not none

    def get_data(self):
        return self.data

可以在执行时输出debug信息

import urllib2
httphandler = urllib2.httphandler(debuglevel=1)
httpshandler = urllib2.httpshandler(debuglevel=1)
opener = urllib2.build_opener(httphandler, httpshandler)
urllib2.install_opener(opener)
url = "https://www.baidu.com"
request = urllib2.request(url)
request.add_header("user-agent", "firefox")
response = urllib2.urlopen(request)

只要定义debuglevel设置为1就可以了


post 表单的相关使用:

import urllib2
import urllib

httphandler = urllib2.httphandler(debuglevel=1)
httpshandler = urllib2.httpshandler(debuglevel=1)
opener = urllib2.build_opener(httphandler, httpshandler)
urllib2.install_opener(opener)

url = "https://www.account.xiaomi.com/pass/serviceloginauth2"
postdata = urllib.urlencode({"user":"xxxxxxx",
                             "_json":"true",
                             "pwd":"xxxxxxx",
                             "sid":"eshop",
                             "_sign":"g7k1hszpyiao4tslhs1xddjbpv8=",
                             "callback":"https://order.xiaomi.com/login/callback?followup=http%3a%2f%2fwww.xiaomi.com%2findex.php&sign=zjewmwvloty3mwm1oge3yjyxngrizjq5mzjmyji5nde0zwy0nzy5mw,,"                                                                 })
request = urllib2.request(url, data=postdata)
request.add_header("user-agent", "mozilla/5.0 (x11; ubuntu; linux x86_64; rv:26.0) gecko/20100101 firefox/26.0")

try:
    response = urllib2.urlopen(request)
    print response.info()
    print response.read()
except urllib2.httperror,e:
    print e.getcode()
    print e.reason                    
上面是小米的自动登陆界面的表单post提交,可以使用firefox和tamper data来获取post需要的参数,然后填写正确的用户名和密码就可以了。