欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Puppeteer环境搭建的详细步骤

程序员文章站 2022-07-20 18:43:43
简介 puppeteer是google开发并开源的一款工具,可用代码驱动浏览器操作。 由于诸多优秀的特性,puppeteer常被用在爬虫与自动化测试上。详细介绍参见...

简介

puppeteer是google开发并开源的一款工具,可用代码驱动浏览器操作。

由于诸多优秀的特性,puppeteer常被用在爬虫与自动化测试上。详细介绍参见官方 readme

puppeteer本身是个nodejs的库,自动化脚本也需要使用nodejs编写,如果对js不了解建议先学习javascript基础语法,或者使用selenium等其他工具去实现。

对于一个陌生的工具,应当先检查是否适合自己,再去尝试使用,切莫盲目从众。

puppeteer 用处

  • 利用网页生成pdf、图片
  • 爬取spa应用,并生成预渲染内容(即“ssr” 服务端渲染)
  • 可以从网站抓取内容
  • 自动化表单提交、ui测试、键盘输入等
  • 帮你创建一个最新的自动化测试环境(chrome),可以直接在此运行测试用例6.捕获站点的时间线,以便追踪你的网站,帮助分析网站性能问题

配置

node环境配置

下载并安装nodejs:

wget https://nodejs.org/dist/v8.12.0/node-v8.12.0-linux-x64.tar.xz
tar xf node-v8.12.0-linux-x64.tar.xz
mv node-v8.12.0-linux-x64 /usr/local/lib
ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/npm /usr/local/bin/
ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/node /usr/local/bin/

*(可选)配置淘宝的源,加速npm包的下载:

npm config set registry https://registry.npm.taobao.org

安装puppeteer

配置淘宝的puppeteer下载源,用于安装chromium:

export puppeteer_download_host=https://storage.googleapis.com.cnpmjs.org
npm i puppeteer

国内不配置时会在卡在下载chromium

示例

新建一个test.js

const puppeteer = require('puppeteer');

(async () => {
 const browser = await puppeteer.launch({
  ignorehttpserrors: true,
  headless: false,
  args: ['--no-sandbox']
 });
 const page = await browser.newpage();
 await page.goto('https://intest.tech');
 await page.waitfor(5e3);
 await browser.close();
})();

运行:

node test.js

截图

知识点

  • puppeteer.launch 启动浏览器实例
  • browser.newpage() 创建一个新页面
  • page.goto 进入指定网页
  • page.screenshot 截图
const puppeteer = require('puppeteer');

(async () => {
const browser = await (puppeteer.launch({
// 若是手动下载的chromium需要指定chromium地址, 默认引用地址为 /项目目录/node_modules/puppeteer/.local-chromium/
executablepath: '/users/huqiyang/documents/project/z/chromium/chromium.app/contents/macos/chromium',
//设置超时时间
timeout: 15000,
//如果是访问https页面 此属性会忽略https错误
ignorehttpserrors: true,
// 打开开发者工具, 当此值为true时, headless总为false
devtools: false,
// 关闭headless模式, 会打开浏览器
headless: false
}));
const page = await browser.newpage();
await page.goto('https://www.jianshu.com/u/40909ea33e50');
await page.screenshot({
path: 'jianshu.png',
type: 'png',
// quality: 100, 只对jpg有效
fullpage: true,
// 指定区域截图,clip和fullpage两者只能设置一个
// clip: {
// x: 0,
// y: 0,
// width: 1000,
// height: 40
// }
});
browser.close();
})();

进阶,获取网易云音乐的歌词和评论

网易云音乐的api经过aes和rsa算法加密,需要携带加密的信息通过post方式请求才能获取到数据。但 puppeteer 出现后,这些都不重要了,只要它页面上显示了,通过 puppeteer 都能获取到该元素。

知识点

  • page.type 获取输入框焦点并输入文字
  • page.keyboard.press 模拟键盘按下某个按键,目前mac上组合键无效为已知bug
  • page.waitfor 页面等待,可以是时间、某个元素、某个函数
  • page.frames() 获取当前页面所有的 iframe,然后根据 iframe 的名字精确获取某个想要的 iframe
  • iframe.$('.srchsongst') 获取 iframe 中的某个元素
  • iframe.evaluate() 在浏览器中执行函数,相当于在控制台中执行函数,返回一个 promise
  • array.from 将类数组对象转化为对象
  • page.click() 点击一个元素
  • iframe.$eval() 相当于在 iframe 中运行 document.queryselector 获取指定元素,并将其作为第一个参数传递
  • iframe.$$eval 相当于在 iframe 中运行 document.queryselectorall 获取指定元素数组,并将其作为第一个参数传递
const fs = require('fs');
const puppeteer = require('puppeteer');

(async () => {
const browser = await (puppeteer.launch({ executablepath: '/users/huqiyang/documents/project/z/chromium/chromium.app/contents/macos/chromium', headless: false }));
const page = await browser.newpage();
// 进入页面
await page.goto('https://music.163.com/#');

// 点击搜索框拟人输入 鬼才会想起
const musicname = '鬼才会想';
await page.type('.txt.j-flag', musicname, {delay: 0});

// 回车
await page.keyboard.press('enter');

// 获取歌曲列表的 iframe
await page.waitfor(2000);
let iframe = await page.frames().find(f => f.name() === 'contentframe');
const song_ls_selector = await iframe.$('.srchsongst');

// 获取歌曲 鬼才会想起 的地址
const selectedsonghref = await iframe.evaluate(e => {
const songlist = array.from(e.childnodes);
const idx = songlist.findindex(v => v.childnodes[1].innertext.replace(/\s/g, '') === '鬼才会想起');
return songlist[idx].childnodes[1].firstchild.firstchild.firstchild.href;
}, song_ls_selector);

// 进入歌曲页面
await page.goto(selectedsonghref);

// 获取歌曲页面嵌套的 iframe
await page.waitfor(2000);
iframe = await page.frames().find(f => f.name() === 'contentframe');

// 点击 展开按钮
const unfoldbutton = await iframe.$('#flag_ctrl');
await unfoldbutton.click();

// 获取歌词
const lyric_selector = await iframe.$('#lyric-content');
const lyricctn = await iframe.evaluate(e => {
return e.innertext;
}, lyric_selector);

console.log(lyricctn);

// 截图
await page.screenshot({
path: '歌曲.png',
fullpage: true,
});

// 写入文件
let writerstream = fs.createwritestream('歌词.txt');
writerstream.write(lyricctn, 'utf8');
writerstream.end();

// 获取评论数量
const commentcount = await iframe.$eval('.sub.s-fc3', e => e.innertext);
console.log(commentcount);

// 获取评论
const commentlist = await iframe.$$eval('.itm', elements => {
const ctn = elements.map(v => {
return v.innertext.replace(/\s/g, '');
});
return ctn;
});
console.log(commentlist);
})();

参考

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。