谨慎 mongodb 关于数字操作可能导致类型及精度变化

哈哈勋爵 發表於 2019-8-20 16:12:00

谨慎 mongodb 关于数字操作可能导致类型及精度变化

<h3>1.问题描述</h3>
最近有一个需求，更新Mongo数据库中原料集合的某字段价格，更新后，程序报错了，说长度过长了，需要Truncation。
主要错误信息如下：
<div class="cnblogs_code">
<pre>FormatException: An error occurred while deserializing the XXXXXXXPrice property of class XXXXXXXXXXXXXXXXXXXX: Truncation resulted in data loss.</pre>
</div>
 
调试发现，价格这个数据来自于SQL Server数据库，是decimal(18,4)，数据落到Mongodb中也是Decimal类型。DBA通过Mongodb客户端工具更新后，更新的文档中的价格字段由Decimal类型变成了Double类型。
此时问题就出现了：
（1）：Double类型为15位，原来小数点后面是四位小数，现在不一定了。
（2）：精确度变化，导致部分数据失真。
问题出现，我们有必要认认真真学习总结下MongoDB中的数字类型以及其余mongo shell等常见客户端工具。
在MongoDB中，关于数值的类型有：
<table border="0">
<tbody>
<tr>
<td>Type</td>
<td>Alias</td>
<td>Notes</td>
</tr>
<tr>
<td>Double</td>
<td>“double”</td>
<td> </td>
</tr>
<tr>
<td>32-bit integer</td>
<td>“int”</td>
<td> </td>
</tr>
<tr>
<td>64-bit integer</td>
<td>“long”</td>
<td> </td>
</tr>
<tr>
<td>Decimal128</td>
<td>“decimal”</td>
<td>New in version 3.4</td>
</tr>
</tbody>
</table>
<h3>2. 数字默认为double 类型</h3>
mongo shell 客户端默认将数字看成浮点数。
例如，
<div class="cnblogs_code">
<pre>db.testnumber.find({t1:12345})</pre>
</div>
查看新插入的数据，
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819102126985-577915788.png">
可以看到，数字变成了Double 类型。
上面的数据插入是在mongo shell 中验证的，其实在 nosqlbooster 工具中，默认也是将数字当成double类型。
<h3>3 NumberLong 类型</h3>
如果想保留为int类型（64-bit integer），需要显式地通过封装函数NumberLong()，其接受的参数应为string类型。
例如，插入一笔数据
<div class="cnblogs_code">
<pre>db.testnumber.insertOne( { _id: 10, calc: NumberLong("2090845886852") } )</pre>
</div>
 查看插入的数据
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819103349192-1475518516.png">
mongo shell 客户端查询，显式如下：
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819103645492-1093082991.png">
我们再来验证下通过mongo shell 工具如何对这一类型进行更新的：
<div class="cnblogs_code">
<pre>db.collection.updateOne( { _id: 10 },
 { $set:{ calc: NumberLong("25555550") } } )</pre>
</div>
显式指定 封装函数NumberLong()。
查看更新后的数据，
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819103850572-819783510.png">
我们再来验证下 long  类型上的 $inc 操作（$inc操作符将一个字段的值增加或者减少指定的数值）
 
<div class="cnblogs_code">
<pre>db.testnumber.updateOne( { _id: 10 },
... { $inc: { calc: NumberLong(5) } } )</pre>
</div>
更新后，查询
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819105146587-834542023.png">
上面的例子中，显式地指定了Int64 类型（通过NumberLong（）函数），执行前后都是Int64。如果不指定呢？不指定就是默认的Double类型。
继续测试，在原来的基础上再加5.
<div class="cnblogs_code">
<pre>db.testnumber.updateOne( { _id: 10 },
... { $inc: { calc: 5 } } )</pre>
</div>
查看显示，
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819105656749-1888561413.png">
数值的类型由Int64 变成了 Double 类型。
<h3>4.32-bit integer （int）类型</h3>
和64-bit integer（long）差不多，不同的是，其转换函数由NumberLong（）变成了 <code class="docutils literal">NumberInt()</code> ，其接受的参数，也当成string类型来处理。
例如：
<div class="cnblogs_code">
<pre>db.testnumber.insert({ts:NumberInt("246")})</pre>
</div>
查看插入的数据：
 
 
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819113128490-896046689.png">
数据类型为Int32.
<h3>5.NumberDecimal</h3>
Decimal 这个数据类型是在Mongo 3.4 才开始引入的。新增Decimal数值类型主要是为了记录、处理货币数据 ，例如财经数据、税率数据等。有时候，一些科学计算也采用Decimal类型。
因为mongo shell默认将数字当成double类型，所以也是需要显式的转换函数NumberDecimal()，其接受参数是string值。
例如：
<div class="cnblogs_code">
<pre>db.testnumber.insert({ts:NumberDecimal("1000.55")})</pre>
</div>
查询显示：
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819134348573-551662418.png">
我们前面，强调说，参数接受类型是string，如何是数字（默认是double类型）也可以，但是有精度丢失的风险，会把数字变成15位（小数点不计算在内）。
例如
<div class="cnblogs_code">
<pre> db.testnumber.insert({ts:NumberDecimal(1000.88)})</pre>
</div>
查看
<div class="cnblogs_code">
<pre>{ "_id" : ObjectId("5d5a38fa3e8964310aa46f83"), "ts" : NumberDecimal("1000.88000000000") }</pre>
</div>
再插入一笔
<div class="cnblogs_code">
<pre>db.testnumber.insert({ts:NumberDecimal(1000000000.88)})</pre>
</div>
查询这一笔数据
<div class="cnblogs_code">
<pre>{ "_id" : ObjectId("5d5a39103e8964310aa46f84"), "ts" : NumberDecimal("1000000000.88000") }</pre>
</div>
再插入一笔
<div class="cnblogs_code">
<pre>db.testnumber.insert({ts:NumberDecimal(10000000000000.88)})</pre>
</div>
查询变成了
<div class="cnblogs_code">
<pre>{ "_id" : ObjectId("5d5a3e343e8964310aa46f86"), "ts" : NumberDecimal("10000000000000.9") }</pre>
</div>
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819142838267-762560922.png">
再如
 <img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819142919570-396096652.png">
需要注意的是：如果将数字类型数据作为参数传递给NumberDecimal()，只能出现在mongo shell工具中，在其他工具中可能报错。
例如在工具 nosqlbooster 中就报错。
<div class="cnblogs_code">
<pre>{
"message" : "NumberDecimal param must be string.",
"stack" : "script:1:29"
}</pre>
</div>
 测试案例如下：
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819143430547-1795832770.png">
<h3>6.mongo shell 操作Decima类型</h3>
如果在mongo shell 操作Decimal，需特别小心，其数据类型和精度有可能变化。
Case 1 
Decimal 类型 +   Decimal 类型
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819145904092-2078415332.png">
Case 2
Decimal 类型 + long 类型
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819150832732-1961417310.png">
Case 3
Decimal 类型+ Int 类型
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819151955980-1834031369.png">
Case 4
Decimal 类型 + 数值类型，即加数是默认的Double类型
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819152722652-1599413707.png">
Case 5
如果将两个Decimal字段相减，会是什么样子呢？我们先在mongo shell 段进行测试。
测试数据：
<div class="cnblogs_code">
<pre>{ "_id" : ObjectId("5d5a50ebbd9dcf1c9b374e11"), "ts1" : NumberDecimal("32222.21111"), "ts2" : NumberDecimal("11222.21111"), "tst" : NumberDecimal("2211.11111") }
{ "_id" : ObjectId("5d5a50f5bd9dcf1c9b374e12"), "ts1" : NumberDecimal("22222.21111"), "ts2" : NumberDecimal("22222.21111"), "tst" : NumberDecimal("11111.11111") }</pre>
</div>
相减操作，将tst字段设置为ts1 和 ts2的差值。
<div class="cnblogs_code">
<pre> db.testnumber.find({}).forEach(function(item){ item.tst = item.ts1- item.ts2 ;db.testnumber.save(item) })</pre>
</div>
查询相减后的结果:
<div class="cnblogs_code">
<pre>{ "_id" : ObjectId("5d5a50ebbd9dcf1c9b374e11"), "ts1" : NumberDecimal("32222.21111"), "ts2" : NumberDecimal("11222.21111"), "tst" : NaN }
{ "_id" : ObjectId("5d5a50f5bd9dcf1c9b374e12"), "ts1" : NumberDecimal("22222.21111"), "ts2" : NumberDecimal("22222.21111"), "tst" : NaN }</pre>
</div>
此时出现了NAN类型。
<code>NaN</code> （not a number）属性代表一个“不是数字”的值。这个特殊的值是因为运算不能执行而导致的，不能执行的原因要么是因为其中的运算对象之一非数字（例如， <code>"abc" / 4</code>），要么是因为运算的结果非数字（例如，除数为零）。
虽然 <code>NaN</code> 意味着“不是数字”，但是它的类型是 <code>Number</code>
Case 6
相加（+）操作，在mongo shell 中验证：
<div class="cnblogs_code">
<pre>db.testnumber.find({}).forEach(function(item){ item.tst = item.ts1+ item.ts2 ;db.testnumber.save(item) })</pre>
</div>
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819170543662-1143607014.png">
此时类似string拼凑。
Case 7 
相减操作如果发生在其他客户端工具，例如 nosqlbooster 工具，效果怎么样呢？
执行相减命令
<div class="cnblogs_code">
<pre> db.testnumber.find({}).forEach(function(item){ item.tst = item.ts1- item.ts2 ;db.testnumber.save(item) })</pre>
</div>
结果截图
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819171014487-159203491.png">
可知：在客户端工具 nosqlbooster 中，两个Decimal类型数据的差值是Double类型。
Case 8 
在工具nosqlbooster 上执行相加的命令
<div class="cnblogs_code">
<pre>db.testnumber.find({}).forEach(function(item){ item.tst = item.ts1+ item.ts2 ;db.testnumber.save(item) })</pre>
</div>
查询结果
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819171304042-439684823.png">
在客户端工具 nosqlbooster 中，两个Decimal类型数据的和也是Double类型。
Case 7、Case 8表明在 客户端工具 nosqlbooster 中，加减两个decimal类型数据，其结果变成了Double类型。这不是我们想要的结果，极端情况，数字精确度还会变化。
<h3>Case 9</h3>
最后，我们看一个数据失真的Case
准备测试数据
<div class="cnblogs_code">
<pre>db.testnumber.insert({ ts1 : NumberDecimal("1747.872"),ts2 : NumberDecimal("51.408"),tst : NumberDecimal("123"))})</pre>
</div>
执行更新（在nosqlbooster 执行的）
<div class="cnblogs_code">
<pre> db.testnumber.find({}).forEach(function(item){ item.tst = item.ts1- item.ts2 ;db.testnumber.save(item) })</pre>
</div>
更新后的数据
<div class="cnblogs_code">
<pre>{ "_id" : ObjectId("5d5b922744b6e6393c6c7693"), "ts1" : NumberDecimal("1747.872"), "ts2" : NumberDecimal("51.408"), "tst" : 1696.4640000000002 }</pre>
</div>
tst 字段，变成了Double类型，且计算后的结果是不准确的。
<h3>7.保持Decimal 字段类型及精度的尝试</h3>
那么有没有其他写法，可以保证更新前后数据类型不变并且不会失真呢？
<h4>7.1先寻找保持数据类型不变的方法</h4>
如果是 nosqlbooster 工具，将要更新的字段保留为NumberDecimal，其操作命令如下：
<div class="cnblogs_code">
<pre> db.testnumber.find({}).forEach(function(item){ db.testnumber.update({"_id":item._id},{$set:{"tst":NumberDecimal(String(item.ts1 - item.ts2))}})})</pre>
</div>
查看更新的结果
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819173224123-1346781891.png">
但是这个命令是不可以在 mongo shell 段执行的，测试如下：
在mongo shell执行如下命令：
<div class="cnblogs_code">
<pre>db.testnumber.find({}).forEach(function(item){ db.testnumber.update({"_id":item._id},{$set:{"tst":NumberDecimal(String(item.ts1 - item.ts2))}})})</pre>
</div>
更新结果如下：
<img src="https://img2018.cnblogs.com/blog/780228/201908/780228-20190819173446466-2080422109.png">
上面的数据类型虽然是Decimal，但是数字是NAN。所以不能更新执行。
<h4> 7.2 数据不失真问题</h4>
还是使用上面第6 部分的Case 数据。
测试前的数据
<div class="cnblogs_code">
<pre>db.testnumber.insert({ ts1 : NumberDecimal("1747.872"),ts2 : NumberDecimal("51.408"),tst : NumberDecimal("123"))})</pre>
</div>
执行更新（在nosqlbooster 执行的）
<div class="cnblogs_code">
<pre> db.testnumber.find({}).forEach(function(item){   db.testnumber.update({"_id":item._id},{$set:{"tst":NumberDecimal(String(item.ts1 - item.ts2))}})})</pre>
</div>
更新后的数据
<div class="cnblogs_code">
<pre>{ "_id" : ObjectId("5d5b922744b6e6393c6c7693"), "ts1" : NumberDecimal("1747.872"), "ts2" : NumberDecimal("51.408"), "tst" : NumberDecimal("1696.4640000000002") }</pre>
</div>
tst 字段，已经变成了Decimal类型，但计算后的结果是不准确的。
我们在开篇讲过，原来的数据都是保存了Decimal（18,4）的格式，所以，如果在mongo 命令上添加四舍五入的函数 toFixed(n) , n为要保留的小数位数。
<div class="cnblogs_code">
<pre> db.testnumber.find({}).forEach(function(item){ db.testnumber.update({"_id":item._id},{$set:{"tst":NumberDecimal(String((item.ts1 - item.ts2).toFixed(4)))}})})</pre>
</div>
查询结果
<div class="cnblogs_code">
<pre>{ "_id" : ObjectId("5d5b922744b6e6393c6c7693"), "ts1" : NumberDecimal("1747.872"), "ts2" : NumberDecimal("51.408"), "tst" : NumberDecimal("1696.4640") }</pre>
</div>
这个结果才是我们真正想要的结果。
<h3>8.不同数字类型下的比较查询 </h3>
测试案例所需数据
<div class="cnblogs_code">
<pre>db.testnumno.insert({ "_id" : 1, "val" : NumberDecimal( "9.99" ), "description" : "Decimal" })
db.testnumno.insert({ "_id" : 2, "val" : 9.99, "description" : "Double" })
db.testnumno.insert({ "_id" : 3, "val" : 10, "description" : "Double" })
db.testnumno.insert({ "_id" : 4, "val" : NumberLong(10), "description" : "Long" })
db.testnumno.insert({ "_id" : 5, "val" : NumberDecimal( "10.0" ), "description" : "Decimal" })</pre>
</div>
Case 1 
执行查询
<div class="cnblogs_code">
<pre>db.testnumno.find({ "val": 9.99 })</pre>
</div>
返回结果
<div class="cnblogs_code">
<pre>{ "_id" : 2, "val" : 9.99, "description" : "Double" }</pre>
</div>
直接输入数字，默认是Double类型，在算法表示上 double 类型的9.99 和 Decimal 类型的9.99 是不相等的。查询结果只有一条数据。
Case 2
执行查询
<div class="cnblogs_code">
<pre>db.testnumno.find({ "val": NumberDecimal( "9.99" ) })</pre>
</div>
返回结果
<div class="cnblogs_code">
<pre>{ "_id" : 1, "val" : NumberDecimal("9.99"), "description" : "Decimal" }</pre>
</div>
返回一条结果的原因和Case 1 相同。
Case 3 
执行查询
<div class="cnblogs_code">
<pre>db.testnumno.find({val: 10 })</pre>
</div>
返回结果
<div class="cnblogs_code">
<pre>{ "_id" : 3, "val" : 10, "description" : "Double" }
{ "_id" : 4, "val" : NumberLong(10), "description" : "Long" }
{ "_id" : 5, "val" : NumberDecimal("10.0"), "description" : "Decimal" }</pre>
</div>
Case 4
执行查询
<div class="cnblogs_code">
<pre>db.testnumno.find({ val: NumberDecimal( "10" ) })</pre>
</div>
返回结果
<div class="cnblogs_code">
<pre>{ "_id" : 3, "val" : 10, "description" : "Double" }
{ "_id" : 4, "val" : NumberLong(10), "description" : "Long" }
{ "_id" : 5, "val" : NumberDecimal("10.0"), "description" : "Decimal" }</pre>
</div>
Case 5
执行查询
<div class="cnblogs_code">
<pre>db.testnumno.find({ val: NumberDecimal( "10.0" ) })</pre>
</div>
返回结果
<div class="cnblogs_code">
<pre>{ "_id" : 3, "val" : 10, "description" : "Double" }
{ "_id" : 4, "val" : NumberLong(10), "description" : "Long" }
{ "_id" : 5, "val" : NumberDecimal("10.0"), "description" : "Decimal" }</pre>
</div>
 
Case 3、Case 4 、Case 5 表明，在表达整数时，doubel 、Decimal 、Long 三者在算法表达上相等。
以上 5 个Case 在Mongo shell、nosqlbooster 演示结果一样。
 
 
<h3> 参考文献：</h3>
https://docs.microsoft.com/en-us/dotnet/api/system.double?redirectedfrom=MSDN&view=netframework-4.8
https://docs.mongodb.com/manual/core/shell-types/
https://docs.mongodb.com/manual/reference/operator/query/type/index.html
https://www.jianshu.com/p/6b51adc05203
https://stackoverflow.com/questions/5314238/how-do-i-set-the-serialization-options-for-the-geo-values-using-the-official-10g
 https://www.213.name/archives/1147
 
 
本文版权归作者所有，未经作者同意不得转载,谢谢配合！！！ 
来源：https://www.cnblogs.com/xuliuzai/p/11365739.html

頁: [1]

琼殿技术论坛's Archiver

谨慎 mongodb 关于数字操作可能导致类型及精度变化