mongodb性能测试报告

一两风 發表於 2020-3-7 15:50:00

<h1>1 测试目的</h1>
模拟生产环境，测试当前mongoDB的各项性能。
<h1>2 测试环境 </h1>
<h2>2.1 软件配置</h2>
<img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307154254782-803159302.png">
<h2>2.2 硬件配置</h2>
 <img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307154414870-1797552903.png">
<h1>3 测试工具</h1>
YCSB是雅虎开源的NoSQL测试工具，通常用来对noSQL数据库进行性能，这里我们使用的是ycsb-mongodb-binding-0.15.0.tar.gz包。
需要新建配置文件，并调整参数，并利用load/run命令，加载数据进行性能测试。
<h2>3.1使用简介</h2>
#ycsb包解压后的目录结构
<img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307154543507-1245787399.png">
#使用前,我们要先了解命令结构
命令示例：
#/opt/ycsb/ycsb-mongodb-binding-0.15.0/bin/ycsb load mongodb -threads 1 -P workloads/workloada -p fieldcount=1  -p fieldlength=1024   -p table=ycsb1 -p clientbuffering=true -p mongodb.url=mongodb://用户:密码@ip:port/test?authSource=admin
表1-4 命名参数说明
<table border="1" cellspacing="0">
<tbody>
<tr>
<td valign="top" width="195">
参数

</td>
<td valign="top" width="373">
含义

</td>

</tr>
<tr>
<td valign="top" width="195">
bin/ycsb

</td>
<td valign="top" width="373">
命令本身。

</td>

</tr>
<tr>
<td valign="top" width="195">
load/run/shell

</td>
<td valign="top" width="373">
指定这个命令的作用,分别代表加载数据/运行测试/交互界面。

</td>

</tr>
<tr>
<td valign="top" width="195">
mongodb/hbase10/basic..

</td>
<td valign="top" width="373">
指定这次测试使用的驱动,也就是这次究竟测的是什么数据库,有很多选项,可以ycsb --help看到所有。

</td>

</tr>
<tr>
<td valign="top" width="195">
threads

</td>
<td valign="top" width="373">
线程数，模拟客户端数

</td>

</tr>
<tr>
<td valign="top" width="195">
-P

</td>
<td valign="top" width="373">
选择加载的配置文件

</td>

</tr>
<tr>
<td valign="top" width="195">
workloads/workloada

</td>
<td valign="top" width="373">
指定测试的参数文件,默认有6种测试模板,加一个大模板；
workloada:读写均衡型，50%/50%,Reads/Writes
workloadb:读多写少型，95%/5%,Reads/Writes
workloadc:只读型，100%,Reads
workloadd:读最近写入记录型,95%/5%,Reads/insert
workloade:扫描小区间型,95%/5%,scan/insert
workloadf:读写入记录均衡型,50%/50%,Reads/insert
workload_template:参数列表模板

</td>

</tr>
<tr>
<td valign="top" width="195">
-p fieldcount=1

</td>
<td valign="top" width="373">
单条记录字段个数：1

</td>

</tr>
<tr>
<td valign="top" width="195">
-p fieldlength=1024

</td>
<td valign="top" width="373">
每个字段的大小： 1024Bytes

</td>

</tr>
<tr>
<td valign="top" width="195">
 -p table=

</td>
<td valign="top" width="373">
自定义表名

</td>

</tr>
<tr>
<td valign="top" width="195">
-p clientbuffering=true

</td>
<td valign="top" width="373">
客户端写缓存   

</td>

</tr>
<tr>
<td valign="top" width="195">
-p mongodb.url=

</td>
<td valign="top" width="373">
指定测试的数据库的认证信息,账号密码，地址端口和库名

</td>

</tr>

</tbody>

</table>
 
<h2>3.2 YCSB测试参数解析</h2>
workloads目录里面下包含自带了6种压力测试场景。如下图：
<img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307160641219-258723681.png">
文件和相应场景的对应关系如下：
workloada:读写均衡型，50%/50%,Reads/Writes
workloadb:读多写少型，95%/5%,Reads/Writes
workloadc:只读型，100%,Reads
workloadd:读最近写入记录型,95%/5%,Reads/insert
workloade:扫描小区间型,95%/5%,scan/insert
workloadf:读写入记录均衡型,50%/50%,Reads/insert
 
示例文件：
#vim workloads/workloada
<img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307160719372-1377859361.png">
表1-5 workload参数含义
<table border="1" cellspacing="0">
<tbody>
<tr>
<td valign="top" width="299">
参数

</td>
<td valign="top" width="268">
含义

</td>

</tr>
<tr>
<td valign="top" width="299">
recordcount=1000
 

</td>
<td valign="top" width="268">
YCSB load(加载元数据)命令的参数，默认值1000表示默认加载的记录条数，可以在命令行显示修改该值。

</td>

</tr>
<tr>
<td valign="top" width="299">
operationcount=1000
 

</td>
<td valign="top" width="268">
YCSB run(运行压力测试)命令的参数，默认值1000表示默认选取数据库中的1000条数据进行压力测试。对于workloada这种测试场景，就意味着读数据在500左右，写数据也在500左右。

</td>

</tr>
<tr>
<td valign="top" width="299">
workload=com.yahoo.ycsb.workloads.CoreWorkload
 

</td>
<td valign="top" width="268">
指定了workload的实现类为 com.yahoo.ycsb.workloads.CoreWorkload

</td>

</tr>
<tr>
<td valign="top" width="299">
readallfields=true

</td>
<td valign="top" width="268">
表示查询时是否读取记录的所有字段

</td>

</tr>
<tr>
<td valign="top" width="299">
readproportion=0.5

</td>
<td valign="top" width="268">
表示读操作的比例，该场景为0.5

</td>

</tr>
<tr>
<td valign="top" width="299">
updateproportion=0.5

</td>
<td valign="top" width="268">
表示更新操作的比例，该场景为0.5

</td>

</tr>
<tr>
<td valign="top" width="299">
scanproportion=0

</td>
<td valign="top" width="268">
表示扫描操作的比例

</td>

</tr>
<tr>
<td valign="top" width="299">
insertproportion=0

</td>
<td valign="top" width="268">
表示插入操作的比例

</td>

</tr>
<tr>
<td valign="top" width="299">
requestdistribution=zipfian
 

</td>
<td valign="top" width="268">
表示请求的分布模式，YCSB提供uniform, zipfian, latest三种分布模式,
Uniform（等概率随机选择记录）、Zipfian（随机选择记录，存在热纪录）和Latest（近期写入的记录是热记录）

</td>

</tr>

</tbody>

</table>
 
<h2>3.3 YCSB测试工具命令</h2>
1.先为指定的库和表指定hash分片
mongo   ip:端口
>sh.enableSharding("test")
>sh.shardCollection("test.usertable", {_id:"hashed"})
 
2.修改业务模型
#cd /opt/ycsb-mongodb-binding-0.15.0/workloads
#只插入100万条数据
#vi workload-s1
<img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307161022606-152346711.png">
 
 3.数据写入
#cd /opt/ycsb/ycsb-mongodb-binding-0.15.0
#/opt/ycsb/ycsb-mongodb-binding-0.15.0/bin/ycsb load mongodb -threads 50 -P workloads/workload-s1-p  fieldcount=1  -p fieldlength=1024  
-p clientbuffering=true  -p table=ycsb1     -p mongodb.url=mongodb://账号:密码@ip:端口,ip:端口,ip:端口/test?authSource=admin
 
4.查看插入的数据
#mongo  ip:端口
>use test
>db.stats();
<img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307161352247-84009192.png">
插入100万条数据后，可以看到每个share上都有33万多的objects,
 
5.结果参数说明
<img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307161455151-367764278.png">
表1-6 ycsb运行结果说明
<table border="1" cellspacing="0">
<tbody>
<tr>
<td valign="top" width="301">
参数

</td>
<td valign="top" width="266">
说明

</td>

</tr>
<tr>
<td valign="top" width="301">
RunTime(ms)：

</td>
<td valign="top" width="266">
运行总时间（毫秒）

</td>

</tr>
<tr>
<td valign="top" width="301">
Throughput(ops/sec)：

</td>
<td valign="top" width="266">
吞吐量，每秒操作数

</td>

</tr>
<tr>
<td valign="top" width="301">
, Count：

</td>
<td valign="top" width="266">
 Parallel Scavenge 回收次数

</td>

</tr>
<tr>
<td valign="top" width="301">
, Time(ms)：

</td>
<td valign="top" width="266">
 Parallel Scavenge 回收时间

</td>

</tr>
<tr>
<td valign="top" width="301">
, Time(%)：

</td>
<td valign="top" width="266">
 Parallel Scavenge 回收时间百分比

</td>

</tr>
<tr>
<td valign="top" width="301">
, Count：

</td>
<td valign="top" width="266">
PS MarkSweep 回收次数

</td>

</tr>
<tr>
<td valign="top" width="301">
, Time(ms)：

</td>
<td valign="top" width="266">
PS MarkSweep 回收时间

</td>

</tr>
<tr>
<td valign="top" width="301">
, Time(%)：

</td>
<td valign="top" width="266">
PS MarkSweep 回收时间百分比

</td>

</tr>
<tr>
<td valign="top" width="301">
, Count：

</td>
<td valign="top" width="266">
全局 GC 次数

</td>

</tr>
<tr>
<td valign="top" width="301">
, Time(ms)：

</td>
<td valign="top" width="266">
全局 GC 时间

</td>

</tr>
<tr>
<td valign="top" width="301">
, Time(%)：

</td>
<td valign="top" width="266">
全局 GC 时间百分比

</td>

</tr>
<tr>
<td valign="top" width="301">
不同操作类型:READ\UPDATE\INSERT\SCAN等;

</td>
<td valign="top" width="266">
 

</td>

</tr>
<tr>
<td valign="top" width="301">
Operations

</td>
<td valign="top" width="266">
总操作数

</td>

</tr>
<tr>
<td valign="top" width="301">
AverageLatency(us)

</td>
<td valign="top" width="266">
平均延迟（微秒）

</td>

</tr>
<tr>
<td valign="top" width="301">
MinLatency(us)

</td>
<td valign="top" width="266">
最小延迟（微秒）

</td>

</tr>
<tr>
<td valign="top" width="301">
MaxLatency(us)

</td>
<td valign="top" width="266">
最大延迟（微秒）

</td>

</tr>
<tr>
<td valign="top" width="301">
95thPercentileLatency(us) ：

</td>
<td valign="top" width="266">
95%的样本延迟低于该值

</td>

</tr>
<tr>
<td valign="top" width="301">
99thPercentileLatency(us)

</td>
<td valign="top" width="266">
99%的样本延迟低于该值

</td>

</tr>
<tr>
<td valign="top" width="301">
Return=OK  

</td>
<td valign="top" width="266">
结果（正确），总操作数

</td>

</tr>

</tbody>

</table>
 
<h1>4 测试方法</h1>
<ul>
<li>使用YCSB-mongoDB对测试环境下test库进行各项测试。</li>

</ul>
<h2>4.1 测试环境</h2>
<img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307161616069-518169666.png">
<h2>4.2测试模型</h2>
<img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307161642135-129859886.png">
<h2>4.3测试指标</h2>
（1）OPS：Operator per Second，数据库每秒执行的操作数。
（2）AverageLatency，平均响应时间。
（3）评判指标：直到发现ops不再增加而平均响应时间继续增加；
<h2>4.4测试步骤</h2>
1.先为指定的库和表指定hash分片
#mongo   ip:端口
>sh.enableSharding("test")
>sh.shardCollection("test.ycsb1", {_id:"hashed"})
 
2.文档模型：
修改YCSB配置，每个文档大小约为1KB，默认“_id”索引。
 
3.配置workload文件。
按照表1-8业务模型所示的业务模型，配置workload中的“readproportion”、“insertproportion”、“updateproportion”等值。
 
4.以业务模型workload_s1为例，执行以下命令，准备数据。
#cd /opt/ycsb/ycsb-mongodb-binding-0.15.0
#/opt/ycsb/ycsb-mongodb-binding-0.15.0/bin/ycsb load mongodb -threads 50 -P workloads/workload-s1 -p fieldcount=1  -p fieldlength=1024
  -p clientbuffering=true -p table=ycsb1   -p mongodb.url=mongodb://账号:密码@ip:端口,ip:端口,ip:端口/test?authSource=admin 
   1>workload_s1_load.result  2> workload_s1_load.log
 
5.以业务模型workload_s1为例，执行以下命令，测试性能
#cd /opt/ycsb/ycsb-mongodb-binding-0.15.0
#/opt/ycsb/ycsb-mongodb-binding-0.15.0/bin/ycsb run mongodb -threads 50 -P workloads/workload-s1 -p fieldcount=1  -p fieldlength=1024
 -p clientbuffering=true -p table=ycsb1 -p mongodb.url=mongodb://账号:密码@ip:端口,ip:端口,ip:端口/test?authSource=admin
  1>workload_s1_run.result  2> workload_s1_run.log
<h1>5 测试用例</h1>
<h2>5.1  用例1 insert mongoDB测试库</h2>
<table border="1" cellspacing="0">
<tbody>
<tr>
<td colspan="2" valign="top" width="568">
测试用例1：插入mongoDB测试库

</td>

</tr>
<tr>
<td valign="top" width="105">
测试目的

</td>
<td valign="top" width="462">
在测试库100% 导入1亿条数据，观察请求状态

</td>

</tr>
<tr>
<td valign="top" width="105">
前置条件

</td>
<td valign="top" width="462">
1、mongoDB正常运行 2、客户端运行正常

</td>

</tr>
<tr>
<td valign="top" width="105">
步骤

</td>
<td valign="top" width="462">
1、根据需求测试项，指定mongodb分片，调整测试模型
2、准备数据 
/opt/ycsb/ycsb-mongodb-binding-0.15.0/bin/ycsb load mongodb
 -threads 50 -P workloads/workload-s1 -p fieldcount=1 
 -p fieldlength=1024    -p clientbuffering=true -p  table=ycsb1 
  -p mongodb.url=mongodb://账号:密码@ip:端口,ip:端口,ip:端口/test?authSource=admin 
1>workload_s1_load.result  2> workload_s1_load.log
3、测试数据
/opt/ycsb/ycsb-mongodb-binding-0.15.0/bin/ycsb run mongodb -threads 50  -P workloads/workload-s1 -p fieldcount=1  
-p fieldlength=1024    -p clientbuffering=true 
-p table=ycsb1 -p mongodb.url=mongodb://账号:密码@ip:端口,ip:端口,ip:端口/test?authSource=admin
 1>workload_s1_run.result  2> workload_s1_run.log
4、记录测试结果
5、调整线程数，继续测试，并记录结果
6、通过调整线程数，直到发现ops不再增加而响应时间继续增加。

</td>

</tr>
<tr>
<td valign="top" width="105">
获取指标

</td>
<td valign="top" width="462">
1、读写耗时、吞吐量、平均响应时间

</td>

</tr>
<tr>
<td valign="top" width="105">
参数化变量

</td>
<td valign="top" width="462">
 

</td>

</tr>
<tr>
<td valign="top" width="105">
数据准备要求

</td>
<td valign="top" width="462">
 

</td>

</tr>
<tr>
<td valign="top" width="105">
备注

</td>
<td valign="top" width="462">
在测试前，确保网络畅通

</td>

</tr>

</tbody>

</table>
 
<h2>5.2 用例2 update&read mongoDB测试库</h2>
<table border="1" cellspacing="0">
<tbody>
<tr>
<td colspan="2" valign="top" width="568">
测试用例2：update&read  mongoDB测试库

</td>

</tr>
<tr>
<td valign="top" width="105">
测试目的

</td>
<td valign="top" width="462">
在测试库90%更新和10%读取测试1亿条数据，观察请求状态

</td>

</tr>
<tr>
<td valign="top" width="105">
前置条件

</td>
<td valign="top" width="462">
1、mongoDB正常运行 2、客户端运行正常

</td>

</tr>
<tr>
<td valign="top" width="105">
步骤

</td>
<td valign="top" width="462">
1、根据需求测试项，指定mongodb分片，调整测试模型
2、预备数据 
     参照如上命令
3.测试数据
       参照如上命令
4、记录测试结果；
5、调整线程数，继续测试，并记录结果；
6、通过调整线程数，直到发现ops不再增加而响应时间继续增加。

</td>

</tr>
<tr>
<td valign="top" width="105">
获取指标

</td>
<td valign="top" width="462">
1、读写耗时、吞吐量、平均响应时间

</td>

</tr>
<tr>
<td valign="top" width="105">
参数化变量

</td>
<td valign="top" width="462">
 

</td>

</tr>
<tr>
<td valign="top" width="105">
数据准备要求

</td>
<td valign="top" width="462">
 

</td>

</tr>
<tr>
<td valign="top" width="105">
备注

</td>
<td valign="top" width="462">
在测试前，确保网络畅通

</td>

</tr>

</tbody>

</table>
 
<h2>5.3 用例3 read&insert&update mongoDB测试库</h2>
<table border="1" cellspacing="0">
<tbody>
<tr>
<td colspan="2" valign="top" width="568">
测试用例3：update&read mongoDB测试库

</td>

</tr>
<tr>
<td valign="top" width="105">
测试目的

</td>
<td valign="top" width="462">
在测试库65%读取，10%插入和25%更新测试1亿条数据，观察请求状态

</td>

</tr>
<tr>
<td valign="top" width="105">
前置条件

</td>
<td valign="top" width="462">
1、mongoDB正常运行 2、客户端运行正常

</td>

</tr>
<tr>
<td valign="top" width="105">
步骤

</td>
<td valign="top" width="462">
1、根据需求测试项，指定mongodb分片，调整测试模型
2、预备数据
     参照如上命令
3.测试数据
       参照如上命令
4、记录测试结果；
5、调整线程数，继续测试，并记录结果；
6、通过调整线程数，直到发现ops不再增加而响应时间继续增加。

</td>

</tr>
<tr>
<td valign="top" width="105">
获取指标

</td>
<td valign="top" width="462">
1、读写耗时、吞吐量、平均响应时间

</td>

</tr>
<tr>
<td valign="top" width="105">
参数化变量

</td>
<td valign="top" width="462">
 

</td>

</tr>
<tr>
<td valign="top" width="105">
数据准备要求

</td>
<td valign="top" width="462">
 

</td>

</tr>
<tr>
<td valign="top" width="105">
备注

</td>
<td valign="top" width="462">
在测试前，确保网络畅通

</td>

</tr>

</tbody>

</table>
 
<h2>5.4 用例4 read&update mongoDB测试库</h2>
<table border="1" cellspacing="0">
<tbody>
<tr>
<td colspan="2" valign="top" width="568">
测试用例4：read&update mongoDB测试库

</td>

</tr>
<tr>
<td valign="top" width="105">
测试目的

</td>
<td valign="top" width="462">
在测试库50%读取，50%更新测试1亿条数据，观察请求状态

</td>

</tr>
<tr>
<td valign="top" width="105">
前置条件

</td>
<td valign="top" width="462">
1、mongoDB正常运行 2、客户端运行正常

</td>

</tr>
<tr>
<td valign="top" width="105">
步骤

</td>
<td valign="top" width="462">
1、根据需求测试项，指定mongodb分片，调整测试模型
2、预备数据
     参照如上命令
3.测试数据
       参照如上命令
4、记录测试结果；
5、调整线程数，继续测试，并记录结果；
6、通过调整线程数，直到发现ops不再增加而响应时间继续增加。

</td>

</tr>
<tr>
<td valign="top" width="105">
获取指标

</td>
<td valign="top" width="462">
1、读写耗时、吞吐量、平均响应时间

</td>

</tr>
<tr>
<td valign="top" width="105">
参数化变量

</td>
<td valign="top" width="462">
 

</td>

</tr>
<tr>
<td valign="top" width="105">
数据准备要求

</td>
<td valign="top" width="462">
 

</td>

</tr>
<tr>
<td valign="top" width="105">
备注

</td>
<td valign="top" width="462">
在测试前，确保网络畅通

</td>

</tr>

</tbody>

</table>
 
<h2>5.5 用例5 read  mongoDB测试库 </h2>
<table border="1" cellspacing="0">
<tbody>
<tr>
<td colspan="2" valign="top" width="568">
测试用例5：read mongoDB测试库

</td>

</tr>
<tr>
<td valign="top" width="105">
测试目的

</td>
<td valign="top" width="462">
在测试库100%读取1亿条数据，观察请求状态

</td>

</tr>
<tr>
<td valign="top" width="105">
前置条件

</td>
<td valign="top" width="462">
1、mongoDB正常运行 2、客户端运行正常

</td>

</tr>
<tr>
<td valign="top" width="105">
步骤

</td>
<td valign="top" width="462">
1、根据需求测试项，指定mongodb分片，调整测试模型
2、预备数据
     参照如上命令
3.测试数据
       参照如上命令
4、记录测试结果；
5、调整线程数，继续测试，并记录结果；
6、通过调整线程数，直到发现ops不再增加而响应时间继续增加。

</td>

</tr>
<tr>
<td valign="top" width="105">
获取指标

</td>
<td valign="top" width="462">
1、读写耗时、吞吐量、平均响应时间

</td>

</tr>
<tr>
<td valign="top" width="105">
参数化变量

</td>
<td valign="top" width="462">
 

</td>

</tr>
<tr>
<td valign="top" width="105">
数据准备要求

</td>
<td valign="top" width="462">
 

</td>

</tr>
<tr>
<td valign="top" width="105">
备注

</td>
<td valign="top" width="462">
在测试前，确保网络畅通

</td>

</tr>

</tbody>

</table>
 
<h1>6  测试场景</h1>
<table border="1" cellspacing="0">
<tbody>
<tr>
<td rowspan="2" valign="top" width="93">
测试类别

</td>
<td rowspan="2" valign="top" width="87">
场景

</td>
<td valign="top" width="209">
场景的组织

</td>
<td rowspan="2" valign="top" width="141">
场景的控制

</td>

</tr>
<tr>
<td valign="top" width="209">
用例

</td>

</tr>
<tr>
<td valign="top" width="93">
mongoDB性能测试

</td>
<td valign="top" width="87">
场景1

</td>
<td valign="top" width="209">
6.1插入性能测试 
100% insert

</td>
<td valign="top" width="141">
云服务自带监控

</td>

</tr>
<tr>
<td valign="top" width="93">
mongoDB性能测试

</td>
<td valign="top" width="87">
场景2

</td>
<td valign="top" width="209">
6.2更新,读取性能测试
90% update ,10% read

</td>
<td valign="top" width="141">
云服务自带监控

</td>

</tr>
<tr>
<td valign="top" width="93">
mongoDB性能测试

</td>
<td valign="top" width="87">
场景3

</td>
<td valign="top" width="209">
6.3读取，插入，更新性能测试
65% read ,25% insert, 10% update

</td>
<td valign="top" width="141">
云服务自带监控

</td>

</tr>
<tr>
<td valign="top" width="93">
mongoDB性能测试

</td>
<td valign="top" width="87">
场景4

</td>
<td valign="top" width="209">
6.4 读取，更新性能测试
50% read , 50% update

</td>
<td valign="top" width="141">
云服务自带监控

</td>

</tr>
<tr>
<td valign="top" width="93">
mongoDB性能测试

</td>
<td valign="top" width="87">
场景5

</td>
<td valign="top" width="209">
6.5 读取性能测试
100% read

</td>
<td valign="top" width="141">
云服务自带监控

</td>

</tr>

</tbody>

</table>
<h1>7 测试结果分析</h1>
<h2>7.1  Intert性能测试</h2>
<h3>7.1.1 测试参数记录</h3>
分片集群100% insert写入测试记录结果如下：
<table border="0" cellspacing="0">
<tbody>
<tr>
<td valign="center" width="49">
线程

</td>
<td valign="center" width="96">
类型

</td>
<td valign="center" width="61">
数据条数

</td>
<td valign="center" width="88">
runtime（ms）

</td>
<td valign="center" width="89">
Ops/sec

</td>
<td valign="center" width="138">
AverageLatency(us)

</td>
<td valign="center" width="89">
操作执行数

</td>

</tr>
<tr>
<td valign="center" width="49">
50

</td>
<td valign="center" width="96">
分片-insert

</td>
<td valign="center" width="61">
 

</td>
<td valign="center" width="88">
 

</td>
<td valign="center" width="89"> </td>
<td valign="center" width="138"> </td>
<td valign="center" width="89">
 

</td>

</tr>
<tr>
<td valign="center" width="49">
100

</td>
<td valign="center" width="96">
分片-insert

</td>
<td valign="center" width="61">
 

</td>
<td valign="center" width="88">
 

</td>
<td valign="center" width="89">
 

</td>
<td valign="center" width="138"> </td>
<td valign="center" width="89">
 

</td>

</tr>
<tr>
<td valign="center" width="49">
200

</td>
<td valign="center" width="96">
分片-insert

</td>
<td valign="center" width="61">
 

</td>
<td valign="center" width="88">
 

</td>
<td valign="center" width="89"> </td>
<td valign="center" width="138">
 

</td>
<td valign="center" width="89">
 

</td>

</tr>
<tr>
<td valign="center" width="49">
400

</td>
<td valign="center" width="96">
分片-insert

</td>
<td valign="center" width="61">
 

</td>
<td valign="center" width="88">
 

</td>
<td valign="center" width="89">
 

</td>
<td valign="center" width="138"> </td>
<td valign="center" width="89"> </td>

</tr>

</tbody>

</table>
<h3>7.1.2测试结果</h3>
 绘制图表
<h3>7.1.3 资源情况分析</h3>
     Mongos是数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，
mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。
1.下图100线程时，使用mongostat监测到mongos的情况；
 <img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307165020726-81911242.png">
参数解释：
inserts   每秒插入次数
command  每秒的命令数
vsize       虚拟内存使用量
res         物理内存使用量
net_in/net_out  网络进出流量
 
2.下图为200线程时，mongos的cpu和带宽使用情况；
 <img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307165153460-382144067.png">
 <img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307165158888-19757778.png">
     Mongos的cpu使用率稳定在50%左右，输入流量稳定在13MB/s;mongos进行协调请求，
再将数据进行转发到后端;通过监控到mongos的cpu,内存，网络带宽一直处在稳定的状态;
 
 3.Config server，为配置服务器，存储所有数据库元信息（路由、分片）的配置。在生
 产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失。
下图为400线程下config的cpu和内存使用率；cpu稳定在20%以下，内存稳定在30%以下；
<img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307165421562-11683137.png">
 <img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307165425567-740664607.png">
 
4.每个分片都是一个独立的数据库，所有的分片组合起来构成一个逻辑上的完整的数据库。
分片机制降低了每个分片的数据操作量及需要存储的数据量，达到多台服务器来应对不断增加的负载和数据的效果。
下图为400线程，share的cpu，内存和带宽使用情况，看到cpu大部分时间已处于100%的状态；内存使用率在60%以下，带宽为16MB/s;
<img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307165520253-716640616.png">
 <img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307165524817-1638870003.png">
 <img src="https://img2020.cnblogs.com/i-beta/1963340/202003/1963340-20200307165532837-690109318.png">
 
在云环境上，后端为分布式存储池，无法监控具体的磁盘写入情况；
但每当内存中的数据累计到一定量(或者一定时间)，MongoDB会将内存数据flush到磁盘，
并清理脏页数据，此时该shard的cpu使用率也会飙升，达到规格上限；
 
后续省略
。
。
。
<h1>8 测试结果总结</h1>
1.当前测试结果绘制图表
2.当前瓶颈分析
Sharding cluster是一种可以水平扩展的模式,在数据量很大时特给力,实际大规模应用一般会采用这种架构去构建。
 sharding分片很好的解决了单台服务器磁盘空间、内存、cpu等硬件资源的限制问题，把数据水平拆分出去，降低单节点的访问压力。
从以上测试记录，当share的cpu达到100%时，插入，更新和读取等操作性能有所下降，综上，目前性能受限于分片的cpu。
特别说明：测试结论只适用于本次测试； 
来源：https://www.cnblogs.com/llwxhn/p/12434732.html

頁: [1]

琼殿技术论坛's Archiver

mongodb性能测试报告