欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

一则python3的简单爬虫代码

程序员文章站 2023-11-16 12:17:16
不得不说python的上手非常简单。在网上找了一下,大都是python2的帖子,于是随手写了个python3的。代码非常简单就不解释了,直接贴代码。 复制代码 代码如下:...

不得不说python的上手非常简单。在网上找了一下,大都是python2的帖子,于是随手写了个python3的。代码非常简单就不解释了,直接贴代码。

复制代码 代码如下:

#test rdp
import urllib.request
import re<br>
#登录用的帐户信息
data={}
data['fromurl']=''
data['fromurltemp']=''
data['loginid']='12345'
data['password']='12345'
user_agent='mozilla/4.0 (compatible; msie 5.5; windows nt)'
#登录地址
#url='http://192.168.1.111:8080/logincheck'
postdata = urllib.parse.urlencode(data)
postdata = postdata.encode('utf-8')
headers = { 'user-agent' : user_agent }
#登录
res = urllib.request.urlopen(url,postdata)
#取得页面html<br>strresult=(res.read().decode('utf-8'))
#用正则表达式取出所有a标签
p = re.compile(r'<a href="(.*?)".*?>(.*?)</a>')
for m in p.finditer(strresult):
    print (m.group(1))#group(1)是href里面的内容,group(2)是a标签里的文字

关于cookie、异常等处理看了一下,没有花时间去处理,毕竟只是想通过写爬虫来学习python。