欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

011.MongoDB性能监控

程序员文章站 2022-06-29 08:02:19
一 MongoDB 监控 1.1 监控概述 MongoDB自带了mongostat 和 mongotop 这两个命令来监控MongoDB的运行情况。这两个命令用于处理MongoDB数据库变慢等等问题非常有用,能详细的统计MongoDB当前的状态信息。除此之外,还可以用db.serverStatus( ......

一 mongodb 监控

1.1 监控概述

mongodb自带了mongostat 和 mongotop 这两个命令来监控mongodb的运行情况。这两个命令用于处理mongodb数据库变慢等等问题非常有用,能详细的统计mongodb当前的状态信息。除此之外,还可以用db.serverstatus()、db.stats()、开启profile功能通过查看日志进行监控分析。

1.2 模拟插入数据

  1 [root@client ~]# mongo --host 172.24.8.71 -u admin -p admin
  2 > use admin
  3 > db.grantrolestouser( "admin",[{ role: "dbowner",db:"mydb" }])
  4 > for(i=1;i<=50000;i++){db.user.insert({"id":i,"name":"jack"+i})}
 

二 相关命令

2.1 mongostat 命令

mongostat是mongodb自带的状态检测工具,在命令行下使用。它会间隔固定时间获取mongodb的当前运行状态,并输出。捕捉并返回各种类型(如插入、 查询、 更新、 删除等)数据库操作的统计。
相关输出解释:
  1 inserts/s		#每秒插入次数
  2 query/s		#每秒查询次数
  3 update/s		#每秒更新次数
  4 delete/s		#每秒删除次数
  5 getmore/s		#每秒执行getmore次数
  6 command/s		#每秒的命令数,比以上插入、查找、更新、删除的综合还多,还统计了别的命令
  7 dirty		#仅仅针对wiredtiger引擎,脏数据字节的缓存百分比
  8 used		#仅仅针对wiredtiger引擎,正在使用中的缓存百分比
  9 flushs/s		#每秒执行fsync将数据写入硬盘的次数。
 
注意:flushs一般都是0,间断性会是1,通过计算两个1之间的间隔时间,可以大致了解多长时间flush一次。flush开销较大,如果频繁的flush,可能存在异常。
  1 mapped/s		#所有的被mmap的数据量,单位是mb,
  2 vsize		#虚拟内存使用量,单位mb
  3 res			#物理内存使用量,单位mb
  4 faults/s		#每秒访问失败数(只有linux有),数据被交换出物理内存,放到swap。不要超过100,否则就是机器内存太小,造成频繁swap写入。此时要升级内存或者扩展
  5 locked %		#被锁的时间百分比,尽量控制在50%以下吧
  6 idx miss %		#索引不命中所占百分比。如果太高的话就要考虑索引是不是少了
  7 q t|r|w		#当mongodb接收到太多的命令而数据库被锁住无法执行完成,它会将命令加入队列。这一栏显示了总共、读、写3个队列的长度,都为0的话表示mongo毫无压力。高并发时,一般队列值会升高。
  8 qr			#客户端等待从mongodb实例读数据的队列长度
  9 qw			#客户端等待从mongodb实例写入数据的队列长度
 10 ar			#执行读操作的活跃客户端数量
 11 aw			#执行写操作的活客户端数量
 
注意:如果这两个数值很大,即db的处理速度不及请求速度。可能存在开销很大的慢查询。如果查询一切正常,确实是负载很大,可能是资源不够。
  1 conn			#当前连接数,是qr,qw,ar,aw的总和
  2 time			#时间戳
  3 net_in			#mongodb实例的网络进流量
  4 net_out			#mongodb实例的网络出流量
 
注意:mongodb为每一个连接创建一个线程,线程的创建与释放也会有开销,所以尽量要适当配置连接数的启动参数,maxincomingconnections建议在5000以下,基本满足多数场景。
示例:
  1 [root@client ~]# mongo --host 172.24.8.71 -u admin -p admin
  2 > use admin
  3 > db.grantrolestouser( "admin",[{ role: "clustermonitor",db:"admin" }])
  4 [root@client ~]# mongostat -h 172.24.8.71 -u admin -p admin --authenticationdatabase admin --discover -n 30 3
 
参数说明
-discover:提供集群中所有节点的状态;
-n 30 3:表示输出30次,每次休眠3秒钟。

2.2 mongotop 命令

mongotop也是mongodb下的一个内置工具,mongotop提供了一个方法,用来跟踪一个mongodb的实例,查看哪些大量的时间花费在读取和写入数据。 追踪并报告mongodb实例当前的读取和写入活动,而且是基于每个集合报告这些统计数据。提供每个集合的水平的统计数据。默认情况下,mongotop返回值的每一秒。
相关输出解释:
  1 ns			        #数据库命名空间,后者结合了数据库名称和集合。
  2 db			        #数据库的名称。名为 . 的数据库针对全局锁定,而非特定数据库。
  3 total			#mongod在这个命令空间上花费的总时间。
  4 read			#在这个命令空间上mongod执行读操作花费的时间。
  5 write			#在这个命名空间上mongod进行写操作花费的时间。
 
示例:
  1 [root@client ~]# mongotop -h 172.24.8.71 -u admin -p admin --authenticationdatabase admin -n 30 3
参数说明
  1 -n 30 3:表示输出30次,每次休眠3秒钟。

2.3 profile

mongodb慢查询检查,profiler默认为关闭状态,可以选择全部开启,或者有慢查询的时候开启。
相关输出解释:
  1 ts			        #时间戳
  2 info			#具体的操作
  3 millis			#操作所花时间,毫秒
  4 [root@client ~]# mongo --host 172.24.8.71 -u admin -p admin
  5 > use mydb
  6 > db.setprofilinglevel(2)	#开启profile
  7 { "was" : 2, "slowms" : 100, "samplerate" : 1, "ok" : 1 }
  8 > db.getprofilinglevel()
  9 2
 10 > use mydb
 11 switched to db mydb
 12 > db.system.profile.find().sort({$natural:-1}).pretty()	#查看profile日志
 13 > db.system.profile.count()				#查看系统中的慢查询数量
 14 6
 
注意:profile操作必须连接mongod进程,而mongos无法执行此类操作;
造成满查询可能是索引的问题,也可能是数据不在内存造成因此磁盘读入造成。
更多慢查询操作见官方文档:https://docs.mongodb.com/manual/tutorial/manage-the-database-profiler/

2.4 serverstatus

serverstatus命令,或mongo shell中的db.serverstatus()返回数据库状态的总览,具体包括磁盘使用状况、内存使用状况、连接、日志和可用的索引。此命令迅速返回,并不会影响mongodb性能。
  1 > use mydb
  2 > db.serverstatus()					#只显示部分内容
  3 {
  4 "uptime" : 21.0,					#表示此实例进程已激活的总时间,单位是秒
  5 "localtime" : isodate("2017-07-09t05:28:17.007z"),	#表示实例所在服务器的当前时间
  6 "globallock" : {
  7         "totaltime" : numberlong(20935000),		#数据库启动后运行的总时间,单位是微秒
  8         "currentqueue" : {				#表示因为锁引起读写队列数
  9             "total" : 0,
 10             "readers" : 0,				#等待读锁的操作数
 11             "writers" : 0				#等待写锁的操作数
 12         },
 13         "activeclients" : {				#连接的激活客户端写操作的总数
 14             "total" : 10,
 15             "readers" : 0,				#激活客户端读操作数
 16             "writers" : 0				#激活客户端写操作数
 17         }
 18     },
 19     "mem" : {					#表示当前内存使用情况
 20         "bits" : 64,				#mongod运行的目标机器的架构
 21         "resident" : 96,				#当前被使用的物理内存总量,单位mb
 22         "virtual" : 271,				#mongodb进程映射的虚拟内存大小,单位mb
 23         "supported" : true,				#表示系统是否支持可扩展内存
 24         "mapped" : 0,				#映射数据文件所使用的内存大小,单位mb
 25         "mappedwithjournal" : 0			#映射journaling所使用的内存大小,单位mb
 26     },
 27 }
 
关键输出:
connections:当前连接和可用连接数,设个一个合理值,当到达这个值mongodb就拒绝新的连接请求,避免连接太多而影响性能。
indexcounters:btree:misses 索引的不命中数,和hits的比例高就要考虑索引是否正确建立。

2.5 db.stats()、db.c.stats()

mongodb数据文件状态指标命令: db.stats(), db.c.stats(),查看文件大小,存储空间大小等。返回一份针对存储使用情况和数据卷的文档,dbstats显示了存储的使用量、包含在数据库中的数据的总量以及对象、集合和索引计数器。
示例:
  1 > use mydb
  2 > db.stats()
  3 {
  4         "db" : "mydb",				#当前数据库
  5         "collections" : 2,				#集合数量
  6         "views" : 0,
  7         "objects" : 50007,				#对象(记录)数量
  8         "avgobjsize" : 53.88963545103685,		#对象平均大小
  9         "datasize" : 2694859,			#所有数据总大小
 10         "storagesize" : 917504,			#数据占磁盘大小
 11         "numextents" : 0,				#所有集合占用的区间总数
 12         "indexes" : 1,				#索引数
 13         "indexsize" : 491520,			#索引大小
 14         "fsusedsize" : 2733277184,
 15         "fstotalsize" : 27375431680,
 16         "ok" : 1
 17 }
 
提示:mongodb数据库磁盘占用大小=storagesize+indexes,压缩比=datasize/storagesize。

2.6 db.collection.stats()

在集合级别上提供类似dbstats的统计数据,包括集合中对象的计数、集合的大小、集合占用的硬盘空间总量以及集合索引的相关信息。
  1 > use mydb
  2 switched to db mydb
  3 > db.user.stats()
 

2.7 db.currentop()

通常mongodb的命令一般很快就完成,但是在一台繁忙的机器或者有比较慢的命令时,可以通过db.currentop()获取当前正在执行的操作。
  1 > db.currentop()
提示:若发现一个操作太长,导致数据库卡死,可以使用db.killop("110752")杀死。

2.8 rs.status()

mongodb副本集状态指标命令。
相关输出解释:
分段
说明
set
当前副本集名称
date
执行命令时间
mystate
当前节点的状态(角色)
syncingto
同步源
heartbeatintervalmillis
心跳间隔
members
节点成员
members.id
成员编号
members.name
成员名称
members.heath
健康状态,1-true,0-false
members.state
成员状态(角色)1-主节点 2-备节点 7-仲裁节点
members.statestr
成员状态名
members.uptime
成员启动运行时长
members.optime
成员oplog时间戳(字段ts)
members.optimedate
成员oplog时间(格式化)
members.lastheartbeat
当前节点对成员的最后一个心跳
members.lastheartbeatrecv
当前节点收到该成员的最后一个心跳
members.pingms
当前节点到该成员的回路时长
members.syncingto
成员同步源
members.electiontime
主节点选举时间戳(ms)
members.electiondate
主节点选举时间(格式化)
  1. 检查每个成员的state/statestr确认是否正常;
提示:state状态字段解释可参考官方:https://docs.mongodb.com/manual/reference/replica-states/或https://yq.aliyun.com/articles/405274。
  1. 检查每个成员的optimedate差异,查看复制延迟;
  2. 检查lastheartbeat、pingms值排查网络延迟问题
使用db.printreplicationinfo()输出节点oplog信息,可在主备节点输出对比
  1 configured oplog size:   20480mb
  2 log length start to end: 589911secs (163.86hrs)
  3 oplog first event time:  tue apr 03 2018 19:37:14 gmt+0800
  4 oplog last event time:   tue apr 10 2018 15:29:05 gmt+0800
  5 now:                     tue apr 10 2018 15:30:18 gmt+0800
 
主节点使用db.printslavereplicationinfo()可输出备节点的同步信息
  1 source: 135.177.126.24:10001
  2     syncedto: tue apr 10 2018 15:32:45 gmt+0800
  3     0 secs (0 hrs) behind the primary
 

三 motop监控工具

3.1 motop安装

motop是mongodb实时监控工具,可以同时对多个mongodb服务器进行监控,同时显示当前操作。
语法格式:
motop [-h] [-u username] [-p password] [-c conf] [-v] [-k autokillseconds] [host [host ...]]
开源项目地址:项目地址:https://github.com/tart/motop
  1 [root@client ~]# yum -y install pymongo				#安装以来
  2 [root@client ~]# curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
  3 [root@client ~]# python get-pip.py
  4 [root@client ~]# yum -y install git
  5 [root@client ~]# pip install git+https://github.com/tart/motop.git
 

3.2 motop操作

q:退出
p:暂停
e:解释查询
k:使用“mongo”执行杀死操作
k:使用“mongo”执行杀死比给定秒数更早的操作
r:尝试重新连接到已断开连接的服务器
r:尝试重新连接到所有服务器

3.3 配置

配置文件:/etc/motop.conf,可以有多个配置段,每一节都可以包含以下参数。
  1 address:服务器的地址(必需)
  2 username:登陆用户名
  3 password:登陆用户密码
  4 status:显示状态(默认开启)
  5 replicationinfo:显示复制状态(默认值:开启)
  6 replicaset:显示副本集的状态(默认值:开启)
  7 operations:显示操作(默认值:开启)
  8 replicationoperations:不断展现主和从的复制操作(默认值:开启)
  9 “default”:是特殊的部分,参数可以在本节中设置为默认值。
 

3.4 监控

  1 [root@client ~]# motop -h				#查看帮助
  2 [root@client ~]# vi /etc/motop.conf
  3 [mongodb01]
  4 address=172.24.8.71
  5 username=admin
  6 password=admin
  7 replicationinfo=off
  8 
  9 [mongodb02]
 10 address=172.24.8.72
 11 username=admin
 12 password=admin
 13 replicationinfo=off
 

四 影响性能相关因素

4.1 锁

mongodb用一个锁确保数据的一致性。但如果某种操作时间运行,其他请求和操作将不得不等待这个锁,导致系统性能降低。为了验证是否由于锁降低了性能,可以坚持serverstatus输出的globallock部分的数据。如果参数globallock.currentqueue.total的值一直较大,说明系统中有许多请求在等待锁,同时表明并发问题影响了系统的性能。

4.2 内存

mongodb通过内存映射数据文件,如果数据集很大,mongodb将占用所有可用的系统内存。正式由于内存映射机制将内存的管理交给操作系统来完成,简化了mongodb的内存管理,提高了数据库系统的性能,但是由于不能确定数据集的大小,需要多少内存也是个未知数。
通过serverstatus输出的关于内存使用状态方面的数据,我们能够深入地了解内存使用情况。检查参数mem.resident的值,如果超过了系统内存量并且还有大量的数据文件在磁盘上,表明内存过小。检查mem.mapped的值,如果这个值大于系统内存量,那么针对数据库的一些读操作将会引起操作系统的缺页操作,内存的换入换出将会降低系统的性能。

4.3 连接数

有时候,客户端的连接数超过了mongodb数据库服务器处理请求的能力,这也会降低系统的性能。可以通过serverstatus输出的关于连接数方面的参数进一步分析。参数globallock.activeclients表示当前正在进行读写操作客户端的连接数,current表示当前客户端到数据库实例的连接数,available表示可用连接数。对于读操作大的应用程序,我们可以增加复制集成员数,将读操作分发到secondary节点上,对于写操作大的应用程序,可以通过部署分片集群来分发写操作。

五 web图形界面

5.1 开启web

从3.6版本后废弃了web界面,基于安全性考虑官方不推荐开启http。3.6之前的版本可参考官方方法开启:
https://docs.mongodb.com/v3.2/reference/configuration-options/
 
参考链接:
https://www.cnblogs.com/littleatp/p/8419647.html
https://blog.csdn.net/chen_victor/article/details/74855050