欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

详解如何用Python写个听小说的爬虫

程序员文章站 2023-01-04 12:50:25
在路上发现好多人都喜欢用耳机听小说,同事居然可以一整天的带着一只耳机听小说。小编表示非常的震惊。今天就用 python 下载听小说tingchina.com的音频。书名和章节列表随机点开一本书,这个页...

在路上发现好多人都喜欢用耳机听小说,同事居然可以一整天的带着一只耳机听小说。小编表示非常的震惊。今天就用 python 下载听小说 tingchina.com的音频。

详解如何用Python写个听小说的爬虫

书名和章节列表

随机点开一本书,这个页面可以使用 beautifulsoup 获取书名和所有单个章节音频的列表。复制浏览器的地址,如:https://www.tingchina.com/yousheng/disp_31086.htm。

详解如何用Python写个听小说的爬虫

音频地址

打开单个章节的链接,在 elements 面板用章节名称作为搜索词,在底部发现了一个 script,这一部分就是声源的地址。

详解如何用Python写个听小说的爬虫

在 network 面板可以看到,声源的 url 域名和章节列表的域名是不一样的。在获取下载链接的时候需要注意这一点。

详解如何用Python写个听小说的爬虫

下载

惊喜总是突如其来,把这个 https://t3344.tingchina.com/xxxx.mp3 放入浏览器中运行居然是 404。

详解如何用Python写个听小说的爬虫

肯定是少了关键性的参数,回到上面 network 仔细观察 mp3 的 url,发现在 url 后面带了一个 key 的关键字。如下图,这个 key 是来自于 https://img.tingchina.com/play/h5_jsonp.asp?0.5078556568562795 的返回值,可以使用正则表达式将 key 取出来。

详解如何用Python写个听小说的爬虫

最后的最后在 __main__ 中将以上的代码串联起来。

完整代码

总结

这个 python 爬虫比较简单,小编的每个月 30 元的流量都不够用,有了这个小程序在地铁上就可以不用流量听小说了。

以上就是详解如何用python写个听小说的爬虫的详细内容,更多关于python爬虫 听小说的资料请关注其它相关文章!