欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python定向爬虫——爬取某代理Ip网站上的所有ip

程序员文章站 2022-05-06 16:11:54
...

爬取一个网站的基本过程

  • 确定目标 –> 分析目标 –> 编写程序 -> 执行爬虫
  • 分析目标:
    url 格式 数据格式 网页编码

    分析目标数据在源代码里的结构,以便在获取整个页面源代码后,可以利用正则进行匹配。

注意:目标网站的格式会随时升级,定向爬虫也需要定期升级。

实例:爬取某代理Ip网站上的所有ip

确定目标:

  • 爬取西刺代理上存活一年以上的高匿代理IP

python定向爬虫——爬取某代理Ip网站上的所有ip

分析目标

python定向爬虫——爬取某代理Ip网站上的所有ip

python定向爬虫——爬取某代理Ip网站上的所有ip

python定向爬虫——爬取某代理Ip网站上的所有ip

python定向爬虫——爬取某代理Ip网站上的所有ip

根据上面分析可以确定两个正则表达式

  • 获取目标数据:
re.compile(r'(\d+\.\d+\.\d+\.\d+).*?<td>(\d{2,4})</td>.*?<td>(\d+.*?)</td>',re.M|re.S) 
  • 获取新的url:
re.compile(r'<a.*?href="(/nn/\d+)">\d{1,4}</a>',re.M|re.S)

编写程序

  • 如果你得编程能力很强,那么倒是可以直接入手编写程序。但是作为我还差的远,所以在编写程序之前就把代码架构在脑海中过一遍,画一个流程图。以便编写程序时有一个清楚的思路。同时这也是一个很好的习惯。
  • 代码结构:
HttpMain.py    ---主文件
     class Htma()        
         def beganCrawl()      主程序    
     if __name__ == '__main__':  程序执行入口 
HttpSourceCode.py     ---获取源代码文件
     class Souco()
         def sent()   请求连接函数 
HttpAnalyze.py      ---分析源代码文件  
    class Anurl()       
        def getInfor()   分析获取url和目标数据 
HttpHandleUrl.py    ---处理新的url文件
    class Hanur()
        def takeOutUrl()  获取url方法
        def gainUrls()    保存url方法 
HttpSaveFile.py       ---保存数据文件     
    class Safi()        
        def dataNotNone() 保存一个网页上的目标数据      
        def outputer()   把全部目标数据写入文件

python定向爬虫——爬取某代理Ip网站上的所有ip

  • 程序

HttpMain.py —主文件—主文件

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:aaa@qq.com
'''
from reprile_IP import HttpSourceCode,HttpHandleUrl,HttpAnalyze,HttpSaveFile

class Htma(object):
    def __init__(self):
        self.sourceCode = HttpSourceCode.Souco()  #下载源代码
        self.analyze = HttpAnalyze.Anurl()  # 分析源代码
        self.handleUrl = HttpHandleUrl.Hanur()   #处理新的url
        self.saveFile = HttpSaveFile.Safi()      #保存信息到文件

    def beganCrawl(self,new_url):
        count = 1
        #把主url添加到new_url中去
        self.handleUrl.addNewUrl(new_url)

        #判断 new_url_lsit 列表中是否存还存在url
        while self.handleUrl.new_url_list:

            #从new_url_lsit列表中获取一个url
            new_url = self.handleUrl.takeOutUrl()
            print u'开始爬取第%d个:%s' %(count,new_url)

            #把这个url传入到获取请求函数中,并把源代码返回
            html_code = self.sourceCode.sent(new_url)

            #把源代码传入分析源代码函数中,并把返回新获取的url和主要信息
            new_urls,new_data = self.analyze.getInfor(html_code)
            # print new_data
            # print new_urls
            #把new_urls列表添加到 new_url_lsit 中去
            #把new_date列表传入到写入文件函数中
            self.handleUrl.gainUrls(new_urls)
            self.saveFile.dateNotNone(new_data)

            if count == 20:break
            count += 1
        self.saveFile.outputer()

if __name__ == '__main__':
    rootUrl = 'http://www.xicidaili.com/nn/1'
    hm = Htma()
    hm.beganCrawl(rootUrl)

HttpSourceCode.py —获取源代码文件

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:aaa@qq.com
'''
import urllib2

class Souco(object):
    def sent(self, new_url):
        if new_url is None:
            return None
        #获取一个User-Agent
        headers = {
                'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) '
             'Gecko/20100101 Firefox/54.0',
        }

        #获取request请求对象
        request = urllib2.Request(new_url,headers = headers)
        try:
            # 创建对象
            response = urllib2.urlopen(request)
            if response.getcode() !=200:
                return None
            return response.read()
        except:
            print u'获取网站源代码失败'

HttpAnalyze.py —分析源代码文件

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:aaa@qq.com
'''

import re,urllib2
from reprile_IP import HttpSourceCode

class Anurl(object):
    def getInfor(self, html_code):
        try:
            findInforList = self.getInforCompile().findall(html_code)
            inforList = self.filtrationInfor(findInforList)

            findUrlList = self.getUrlCompile().findall(html_code)
            urlList = self.filtrationUrl(findUrlList)
            return urlList, inforList
        except:
            print u'从源代码中匹配信息失败'

    def getInforCompile(self):
        inforCom = re.compile(r'(\d+\.\d+\.\d+\.\d+).*?<td>(\d{2,4})</td>.*?<td>(\d+.*?)</td>',re.M|re.S)
        return inforCom

    def getUrlCompile(self):
        urlCom = re.compile(r'<a.*?href="(/nn/\d+)">\d{1,4}</a>',re.M|re.S)
        return urlCom

    def filtrationInfor(self, findInforList):
        ipList = []
        for i in findInforList:
            if '天' in i[2]:
                if int(re.search('\d+',i[2]).group()) > 365:
                    ipList.append(i)
        return ipList

    def filtrationUrl(self, findUrlList):
        urlList = []
        string = 'http://www.xicidaili.com'
        for url in findUrlList:
            urlList.append(string+url)
        return urlList

HttpHandleUrl.py —处理新的url文件

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:aaa@qq.com
'''

import random

class Hanur(object):
    def __init__(self):
        self.new_url_list = list()
        self.old_url_list = list()

    def addNewUrl(self,new_url):
        if new_url is None:return

        if new_url in self.new_url_list or new_url in self.old_url_list:return
        self.addNewurls(new_url)

    def addNewurls(self, new_url):
        #把这个新的url添加到url列表中
        self.new_url_list.append(new_url)

    def takeOutUrl(self):
        #获取一个url
        if self.new_url_list is not None:
            try:
                new_url = random.choice(self.new_url_list)
                self.new_url_list.remove(new_url)
                self.old_url_list.append(new_url)
            except:
                print u'获取新的url失败'
            else:
                return new_url

    def gainUrls(self, new_urls):
        try:
            for url in new_urls:
                self.addNewUrl(url)
        except:
            print u'添加新的url失败'

HttpSaveFile.py —保存数据文件

#!/usr/bin/env python
# encoding: utf-8
'''
writer:lxshen
date:2017-8-13
E-mail:aaa@qq.com
'''


class Safi(object):
    def __init__(self):
        self.datas = list()

    def dateNotNone(self, new_data):
        try:
            for data in new_data:
                if data is None:return
                self.datas.append(data)
        except:
            print u'添加有用信息到列表失败'

    def outputer(self):
        with open('ip.txt','w+') as f:
            for data in self.datas:
                f.write('%3s:%s' % (data[0],data[1]))
                f.write('%20s' % data[2])
                f.write('\n')

执行程序

python定向爬虫——爬取某代理Ip网站上的所有ip

python定向爬虫——爬取某代理Ip网站上的所有ip

执行非常完美。

总结

在编写这个程序时,遇到最大的问题就是用正则表达式匹配网站上的信息。不得已又把正则过了一遍。又了解到了flag参数(I,M…),总之满满的收获。