欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

程序员文章站 2024-01-21 12:21:40
Adrian没有访问生成验证码图片的应用的源代码的权限。为了破解这个系统,他不得不下载成百上千个示例图像并手动解答它们,用以训练他的深度学习系统。 但是如果我们想打破一个开放源代码的验证码系统,将会怎么样? 我去http://wordpress.org插件注册表搜索“验证码”。最靠前的结果是一个叫“ ......
验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

Adrian没有访问生成验证码图片的应用的源代码的权限。为了破解这个系统,他不得不下载成百上千个示例图像并手动解答它们,用以训练他的深度学习系统。

但是如果我们想打破一个开放源代码的验证码系统,将会怎么样?

我去http://wordpress.org插件注册表搜索“验证码”。最靠前的结果是一个叫“真正简单的验证码”的插件,有超过100万个活跃安装:

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

好的,所以验证码图像似乎是四个字母。让我们在PHP源代码中验证这一点:

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

是的,它会产生一个四字母的验证码,并采用随机组合的四种不同的字体。我们可以看到,它从不在代码中使用“O”或“I”,以避免用户混淆。这给了我们总共32个可能需要识别的字母和数字。没问题!

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

TensorFlow

TensorFlow是谷歌的机器学习库。我们会在Keras中写代码,但Keras并没有真正实现神经网络的逻辑本身,它其实是在后台调用谷歌的TensorFlow进行计算。

好,现在让我们回到挑战!

创造我们的数据集

训练任何机器学习系统,我们都需要训练数据集。破解一个验证码系统,我们则需要训练数据看起来像这样:

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

由于我们有这个WordPress的验证码插件的源代码,我们可以对它做一些更改,让它保存出10000张验证码图像以及每个图像的正确答案。

花了几分钟时间,在适当地修改源代码并添加一个简单的for后,我得到了一个包含训练数据的文件夹 —— 10000个PNG文件,每个文件都以正确答案作为文件名:

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

这是唯一我不会给你示例代码的部分。我们这样做是为了教育,我不想让你真的去黑WordPress网站。不过,我会给你我最后生成的这10000张图像,以便你可以重复我的结果。

到目前为止时间过去:5分钟。

简化问题

现在我们有了训练数据,我们可以直接用它来训练神经网络:

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

有足够的训练数据,这种粗暴的方法甚至也行得通 - 但我们可以使问题更容易解决。问题越简单,训练数据越少,计算资源消耗就越少。毕竟我们只有15分钟!

幸运的是,验证码图像总是由四个字母组成。如果我们能用某种方式把图像分割开来,这样每一个字母都是一个独立的图像,那么我们只需要训练神经网络一次识别一个字母:

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

我没有时间浏览10000个训练图像,并在Photoshop中手动将它们分割成单独的图像。这将需要几天,而我只剩下10分钟了。

而且我们不能将图像分成四个相同大小的块,因为验证码会将这些字母随机放置在不同的水平位置:

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

每个图像中的字母随机放置,使分割图像更难一些。

幸运的是,我们仍然可以自动执行此操作。在图像处理中,我们经常需要检测具有相同颜色的像素团。这些连续像素团周围的边界被称为轮廓。OpenCV有一个内置的findContours()函数,可以用来检测这些连续的区域。

那么我们将从一个原始的验证码图像开始:

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

然后,我们将图像转换为纯黑白(这称为阈值设定),这样就很容易找到连续的区域:

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

接下来,我们将使用OpenCV的findContours()函数来检测图像中各个包含相同颜色像素的连续团:

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

那么只需将每个区域保存为一个单独的图像文件即可。而且由于我们知道每个图像应该包含从左到右的四个字母,所以我们可以使用这些知识来标记字母。只要我们按顺序保存它们,我们能够用适当的字母名称保存每个字母图像。

但是等等 —— 我看到一个问题! 有时候验证码有这样的重叠字母:

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

这意味着我们最终将提取将两个字母拼凑在一起的区域:

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

如果我们不处理这个问题,我们最终会创建糟糕的训练数据。我们需要解决这个问题,以免我们不小心让机器把这两个相连的字母识别为一个字母。

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

我们将把任何宽度比高度还长的区域对半分开,并把它当作两个字母。这是很粗暴,但这么处理对识别这些验证码依然行得通。

现在我们有了一种提取单个字母的方法,让我们在所有的CAPTCHA图像上运行它。目标是收集每个字母的不同变化。我们可以将每个字母保存在自己的文件夹中。

下面是我提取所有字母后,我的“W”文件夹的样子:

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

从我们的10000个验证码图像中提取的一些“W”字母。我一共得到了1147个不同的“W”图像。到目前为止时间过去:10分钟。

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

现在,我们可以开始训练它了!

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

用训练数据集训练10次后,我们达到了近100%的准确度。现在,只要我们想,我们应该能够自动绕过这个验证码了!我们做到了!

到目前为止时间过去:15分钟。(~!)

使用训练的模型破解验证码

现在,我们有一个训练有素的神经网络,用它来破解真正的验证码非常简单:

1.从使用该WordPress插件的网站抓取真实的验证码图像。

2.使用我们用来创建训练数据集的相同方法,将验证码图像分解为四个单独的字母图像。

3.要求我们的神经网络对每个字母图像做一个单独的预测。

4.使用四个预测字母作为验证码的答案。

5.愉快的玩耍吧

以下是我们的模型如何解码真正的验证码

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

或者从命令行

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

 

试试看吧!

如果你想亲自尝试一下,你可以在这里获取代码。它包括10000个示例图像和本文中每个步骤的所有代码。查看里面的README.md文件,了解如何运行它。

但是,如果你想了解每一行代码究竟做了什么,我强烈建议你也弄一本《Python计算机视觉深度学习》。它有更多的细节,并有大量的详细的例子。这是迄今为止我所见过的唯一的一本,既涵盖了工作原理又涵盖了在现实世界中如何解决难题的书。去看看吧!

谢谢阅读,欢迎关注我的博客或者公众号:https://home.cnblogs.com/u/Python1234/ Python学习交流

欢迎加入我的千人交流学习群:125240963