欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

python网络爬虫_requests实例应用

程序员文章站 2022-06-26 13:26:51
(1)淘宝页面源代码爬取这是一个需要爬取的淘宝页面,使用下面代码import requestsr = requests.get('https://detail.tmall.com/item.htm?id=627546383438&ali_refid=a3_430406_1007:1368730053:J:327892881_0_1410706680:8b2f96b85a2366008025f24dd73d84a1&ali_trackid=85_8b2f96b85a236600802....

python网络爬虫_requests实例应用

(1)淘宝页面源代码爬取

python网络爬虫_requests实例应用
这是一个需要爬取的淘宝页面,使用下面代码

import requests
r = requests.get('https://detail.tmall.com/item.htm?id=627546383438&ali_refid=a3_430406_1007:1368730053:J:327892881_0_1410706680:8b2f96b85a2366008025f24dd73d84a1&ali_trackid=85_8b2f96b85a2366008025f24dd73d84a1&spm=a21bo.2017.201874-sales.36')
r.encoding = r.apparent_encoding
r.text

python网络爬虫_requests实例应用

(2)百度关键词搜索

python网络爬虫_requests实例应用
也可以利用之前学过的框架处理
python网络爬虫_requests实例应用

(3)网络图片的爬取和存储

比如我想爬取这张图片:
python网络爬虫_requests实例应用
注意这个页面还不是图片的地址,需要鼠标放在图片上面,右键打开之后的网页地址才是图片的地址

import requests
import os
url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1606467730760&di=bdcc4fc5f9468453923db73d35b80617&imgtype=0&src=http%3A%2F%2Fi1.sinaimg.cn%2Fcj%2F2014%2F1118%2FU5403P31DT20141118195856.jpg'
root = 'C://Users//11847//plotly//spider_web//pic//'
path = root + 'NBA.jpg'
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r = requests.get(url)
        with open(path, 'wb') as f:
            f.write(r.content)
            f.close()
            print('文件保存成功啦~~')
    else:
        print('文件已存在')
except:
    print('爬取失败')

这样就能把图片爬取下来啦:
python网络爬虫_requests实例应用

(4)IP地址归属地的自动查询

python网络爬虫_requests实例应用

import requests
url = 'https://m.ip138.com/iplookup.asp?ip='
try:
    r = requests.get(url + '218.17.207.102')
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[-500:])
except:
    print('爬取失败')

在熟悉了简单的实战之后,我们可以来一下综合的爬虫实战

Python爬取张家界风景美图

python 爬虫小试牛刀(request,BeautifulSoup库的实战

本文地址:https://blog.csdn.net/Kobe123brant/article/details/110229951