欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python基于urllib与http访问关键词网站

程序员文章站 2022-07-14 12:49:56
...

urllib。request是http.client的抽象,要访问网站,可以使用urllib.request.urlopen(),只需要一行代码.

实验原理

用urlencode()对于搜索的关键字进行url编码,然后拼接到百度的网址后,应用urlopen()发出请求并取得结果,最后通过将结果进行解码和正则搜索与字符串处理后输出。

实验效果

python基于urllib与http访问关键词网站

实验代码

from urllib.request import urlopen
from urllib.parse import urlencode
import re

## wd = input('输入一个要搜索的关键字:')
wd = 'python'
wd = urlencode({'wd':wd})
url = 'http://www.baidu.com/s?' + wd
page = urlopen(url).read()
content = (page.decode('utf-8')).replace('\n','').replace('\t','')
title = re.findall(r'<h3 class="t".*?h3>',content)
title = [item[item.find('href = ') + 6:item.find('target=')] for item in title]
title = [item.replace(' ','').replace('"','') for item in title]
for item in title:
    print(item)


相关标签: python尝试 python