mongodb数据库

美君之 發表於 2019-9-1 16:13:00

1. mongodb是什么？
NoSQL 非关系型数据库，主要用于数据的海量存储。分为server数据存储端和client数据操作端。
关系型与非关系型数据库的区别？ sql：数据库--表--数据 nosql：数据库---集合--文档 
 2.mongoddb优势
1. 扩展性 2. 大数据型，高性能 3. 灵活的数据模型
3.启动
1. 本地测试启动：功能受限，验证数据库的完整功能
 + ps aux|grep mongodb + ps -- process 进程 + ps aux 显示所有进程 + grep --- 文件查询 + grep "#" /etc/mongodb.conf --- 把文件中所有带被注释的行显示出来 + grep -v "#" /etc/mongodb.conf --- 把文件中所有有用的行显示出来 sudo service mongodb start sudo service mongodb stop
2. 生产方式启动：
 
4.使用
4.1 数据库的操作
查看当前数据库： db默认为test
查看磁盘上的数据库： show dbs/ show databases
注：db --- > test ---> show dbs ---> local 0.000GB 是因为test数据库不在磁盘上，在内存中。
4.2. 创建数据库  
1.use python
2.db.test.insert({"key":"value"})
3.show dbs ---> python
4.3 删除数据库
db.dropDatabase()
4.4 集合的操作
　　1.选择要使用的数据库  use new 
　　2.db.createCollection("new_col")  如果new这个数据库存在就在里面创建集合，如果数据库不存在，就先创建数据库new，然后在创建集合
　　　　默认是无限容量：cap:true
　　3.show dbs 
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190901144844352-285448797.png">
　　4.db.new_col 查看集合  show.collections  查看指定数据库下的所有集合
　　5.db.new_col.insert({"a":"1"}) 指定集合插入数据
　　6.db.new_col.find() 查看指定集合的数据
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190901145522399-238983114.png">
　　说明：集合会自动插入一条id的字段，是一个十二位的十六进数。
　　前八位：5d6b6ab1是时间戳
　　接着六位：b48040 机器码，唯一标记机器
　　接着四位：8ed5 是进程号
　　最后六位：是简单的增量值
4.4 数据的增删改查
　　批量插入数据
　　[{   } , {   } , {   }]
　　db.new_col.insert([{name:"zhang",age:10,class:1},{name:"wang",age:11,class:1},{name:"sun",age:12,class:1}])
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190901152212176-44252165.png">
　　修改数据 --- 修改数据的依据是通过 "_id"的值取找，找到了之后，在id后面的字段判断值是否一致，不一致，把新的值覆盖原来的值。
　　db.new_col.save({"_id" : ObjectId("5d6b717506777816389cdd77"),"name":"mongo","age":100,"class":100})
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190901153201890-1775380848.png">
　　如果：通过id值找不到，就会将后面的值作为新地值插入，id的值为查找的id的值。 
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190903183533829-2045036369.png">
　　查询数据 
　　一般查询：db.new_col.find() 
　　条件查询：
　　# 新插入一组数，进行演示。 
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190901155243723-892580363.png">
　　db.demo_col.findOne()
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190901155400646-772942775.png">
　　db.demo_col.find().pretty()      展示部分截图
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190901155525459-2014914163.png">
　　1. 等于查询
　　db.demo_col.find({age:10})
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190901155813642-882139342.png">
　　2. 大于查询
　　db.demo_col.find({age:{$gt:50}})       $get 大于等于   $lt  小于  $lte小于等于
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190901160046464-1233971686.png">
　　4. 不等于查询
　　db.demo_col.find({age:{$ne:50}})
　　5. and查询
　　db.demo_col.find({$and:[{area:{$gte:100}},{age:{$ne:110}}]})      多条件查询 find( $and :  [  {  查询条件1 } , { 查询条件2  }  ])
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190901161239037-1007998533.png">
 　　6. or 查询
　　db.demo_col.find( { $or : [ { area : {  $lte: 100}  },{ age : { $gte : 50} } ] } )    多条件查询 find( $ or :  [  {  查询条件1 } , { 查询条件2  }  ])
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190902150819064-1530307170.png">
　　7. 范围运算符  in   nin 
　　db.demo_col.find({age:{$in:}})
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190902151314218-431263229.png">
　　8.模糊正则查询
　　db.demo_col.find({name:{regex:"^湖"}})
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190902152045165-627021996.png">
　　9.复杂查询-自定义查询
　　db.demo_col.find({$where:function(){return this.age> 100 }})
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190902152618399-2100828367.png">
　　10 查询结果的操作
　　limit(5) 
　　db.demo_col.find().limit(5)
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190902152944718-1233987206.png">
　　skip(3)  
　　db.demo_col.find().skip(3)
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190902153319696-518938013.png">
　　投影操作
　　显示指定的字段的查询结果，类似于mysql中的显示部分字段的查询结果
　　select  *  from  demo_table;
　　select  name,age  from demo_table;
　　db.demo_col.find({},{name:1})  显示一个字段   db.demo_col.find({},{name:1,age:1})  显示多个字段  
　　# 1 代表显示 0 代表不显示  字段设置不能0,1共存，但是_id:0,name:1  id为0可以和其他字段的1共存
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190902153914641-226694835.png">
　　排序操作
　　db.demo_col.find().sort({area:-1})
　　1代表升序，-1代表降序
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190902154811516-870538892.png">
　　统计操作
　　db.demo_col.find().count()
　　db.demo_col.count({age:{$gte:100}})  
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190902155302429-359335675.png">
　　去重操作
　　db.demo_col.distinct("age") 
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190902161250323-420270841.png">
　　更新操作
　　全文档覆盖更新
　　db.demo_col.updata({查询条件},{更新条件})
　　db.demo_col.update({"area":100},{"name":"美丽的大新疆"})    更新后只保留原来数据的_id 和 name字段，其他字段都会变没有 -----覆盖更新
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190902164936119-1120869059.png">
　　db.test_col.update({"name":"陕西"},{$set:{"city":"长安"}})   ---- 不覆盖更新
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190903184520892-1609613421.png">
　　db.test_col.update({},{$set:{"nation":"中国"}},{multi:true})  全部追加
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190903185138376-154624513.png">
　　db.test_col.update({"name":"福建"},{$set:{"city":"福州","location":"华东","nickname":"闽","nation":"中国"}},{upsert:true})找到就更新，找不到就添加
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190903190342328-987788469.png">
　　但是：这个nation和nickname的位置，看着好难受
　　删除数据
　　db.test_col.remove({"name":"福建"},{justOne:true})
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190903190851500-802446403.png">
　　mongodb 的聚合操作
　　　　聚合是基于数据处理的聚合管道，每个文档通过一个由多阶段组成的管道，可以对每个阶段的管道进行分组，过滤等功能，然后精活一系列的处理，输出相应的结果。第一个管道产生的结果，会变成第二个管道的输入值，加入第一个管道进行了投影，那么第二个管道只能拿到部分数据。
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190904152537286-1144412745.png">
　　　　db.集合名称.aggregate（{管道：{表达式}}）
　　　　管道命令之$group：是聚合命令中使用最多的一个命令，用来将集合中的文档进行分组，可用于统计结果。　　　　
　　　　db.test_col.aggregate({$group:{_id:"$nation"}})
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190904154008603-639824632.png">
　　db.test_col.aggregate({$group:{_id:"$nation",counter:{$sum:1}}})
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190904154325064-2041068943.png">
　　新建一组集合数据，用来练习group
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190904162821422-1227054212.png">
　　　　管道命令之$match：用于数据过滤
　　　　　　db.test_info.aggregate({$match:{class:"two"}})
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190904163439125-149146679.png">
　　　　　　db.test_info.aggregate({$match:{class:"one"}},{$group:{_id:"$gender",name_list:{$push:"$name"}}})
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190904163851351-2000856739.png">
　　　　　　db.test_info.aggregate({$match:{name:/z/}})   模糊匹配高级搜索
 　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190904164246363-352890452.png">
　　　　　　# TODO
　　mongodb 索引
　　不创建索引，就会遍历每个数据，进行比较，若刚好要查的数据位于最会一个，则查询速度最慢。
　　索引：升序创建，降序创建
　　索引加快搜索速度的原理：二分查找结合二叉树
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190907204250613-1139188315.png">
　　查找7，排序前，需要11次比较。
　　排序后，将数据按照二叉树的方式进行存储，查找7，需要3次比较。
　　mongodb创建索引的目的：1. 加快数据查询速度，2.进行数据去重（唯一索引进行去重）
　　db.集合名.ensureIndex({属性：1})  ， 1升序，-1降序
　　插入10万条数据：for(i=0;i<100000;i++){db.num.insert({name:"name"+i,num:i})}
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190907205538613-75280199.png">
　　db.test_num.find({num:99999}).explain("executionStats")  查看语句的详细执行信息
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190907210012355-225435440.png">
　　db.test_num.ensureIndex({num:1})   创建索引   
　　db.test_num.find({num:99999}).explain("executionStats")
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190907210707357-1263872701.png">
　　查询索引   db.test_num.getIndexes()
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190907211204376-323751555.png">
　　删除索引：db.test_num.dropIndex({num:1}) 
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190907211436358-920834010.png">
　　创建唯一索引，用来去重
　　db.test_num.ensureIndex({num:1},{"unique":true})
　　<img src="https://img2018.cnblogs.com/blog/1749518/201909/1749518-20190907212144292-1790061789.png">
　 　索引注意事项：
　　　　1.查询操作非常频繁才使用索引。
　　　　2. 升序降序不影响查询速度。
　　　　3.数据量大，读写非常频繁，创建索引影响写入速度。
　　要是写入也频繁，查询也频繁，可以使用读写分离，主负责写，一个负责写，不设置索引，定时同步到另一个mingodb,另一个进行读，设置索引。
# TODO 权限
二  python使用mongodb
<div class="cnblogs_code">
<pre># 配置mongodb
from pymongo import MongoClient
my_collection = MongoClient(host="127.0.0.1",port=27017)
db = my_collection</pre>
</div>
（一）mongodb取数据的问题
<div class="cnblogs_code">
<pre># 从mongodb中直接取数据，因为objectid是一个objects类型，直接取值，然后jsonify给前端，报错
TypeError: Object of type ObjectId is not JSON serializable
# 解决办法
from flask import Flask, jsonify
from pymongo import MongoClient
from bson import json_util
app = Flask(__name__)
client = MongoClient(host="127.0.0.1",port=27017)
collection = client["pzgl_manage"]["pgxx"]

@app.route("/")
def index():
collection.insert_one({"name":"zhang","age":10})
ret = collection.find_one({"name":"zhang"})
return json_util.dumps(ret)

if __name__ == '__main__':
app.run(debug=True)

# 前端显示
# {"_id": {"$oid": "5dd28b5d01a5afc41caa0c84"}, "name": "zhang", "age": 10}

# 从mongodb中取一组值，取出来的是一个游标对象，必须循环后，才能获得每一个值，怎么将这一组值一次return给前端。
# 解决办法一：人为的构造字典，值为列表，列表里面包含每一个查询结果
from flask import Flask, jsonify
from pymongo import MongoClient
from bson import json_util
app = Flask(__name__)
client = MongoClient(host="127.0.0.1",port=27017)
collection = client["pzgl_manage"]["pzxx"]

@app.route("/")
def index():
ret = collection.find()
ret_li = list()
for r in ret:
ret_li.append(r)
ret_dict = {"ret_li":ret_li}
return json_util.dumps(ret_dict)

if __name__ == '__main__':
app.run(debug=True)

# 前端显示
{"ret_li": [{"_id": {"$oid": "5dd24fd26567f28b57b1b8c3"}, "sheep_number": "1", "equipement_number": "88888888", "s_detail": [{"p_time": "2019-01-01", "p_type": "\u672c\u4ea4", "s_time": "2019-01-02", "o_number": 1}, {"p_time": "2020-01-01", "p_type": "\u672c\u4ea4", "s_time": "2020-01-02", "o_number": 2}]}, {"_id": {"$oid": "5dd252096567f28b57b1b90c"}, "sheep_number": "2", "equipement_number": "88888888", "s_detail": [{"p_time": "2019-01-02", "p_type": "\u51bb\u7cbe", "d_type": "\u5c71\u7f8a", "d_count": 100, "d_number": 20191118}, {"p_time": "2020-01-02", "p_type": "\u51bb\u7cbe", "d_type": "\u5c71\u7f8a", "d_count": 100, "d_number": 20200102}]}, {"_id": {"$oid": "5dd253506567f28b57b1b944"}, "sheep_number": "3", "equipement_number": "88888888", "s_detail": [{"p_time": "2019-01-03", "s_time": "2019-01-04", "p_pyte": "\u51bb\u7cbe", "d_type": "\u5976\u725b", "d_count": 100, "d_num": 20190103, "e_sex": "\u6027\u63a7"}, {"p_time": "2020-01-03", "s_time": "2020-01-04", "p_pyte": "\u51bb\u7cbe", "d_type": "\u5976\u725b", "d_count": 100, "d_num": 20200103, "e_sex": "\u666e\u901a"}]}]}

# 问题来了，前端对于汉字的解析不是很好，怎么解决这个问题,通过下面的json的例子，可以解决
return json.dumps(json.loads(json_util.dumps(ret_dict)),ensure_ascii=False)
# 前端显示
{"ret_li": [{"_id": {"$oid": "5dd24fd26567f28b57b1b8c3"}, "sheep_number": "1", "equipement_number": "88888888", "s_detail": [{"p_time": "2019-01-01", "p_type": "本交", "s_time": "2019-01-02", "o_number": 1}, {"p_time": "2020-01-01", "p_type": "本交", "s_time": "2020-01-02", "o_number": 2}]}, {"_id": {"$oid": "5dd252096567f28b57b1b90c"}, "sheep_number": "2", "equipement_number": "88888888", "s_detail": [{"p_time": "2019-01-02", "p_type": "冻精", "d_type": "山羊", "d_count": 100, "d_number": 20191118}, {"p_time": "2020-01-02", "p_type": "冻精", "d_type": "山羊", "d_count": 100, "d_number": 20200102}]}, {"_id": {"$oid": "5dd253506567f28b57b1b944"}, "sheep_number": "3", "equipement_number": "88888888", "s_detail": [{"p_time": "2019-01-03", "s_time": "2019-01-04", "p_pyte": "冻精", "d_type": "奶牛", "d_count": 100, "d_num": 20190103, "e_sex": "性控"}, {"p_time": "2020-01-03", "s_time": "2020-01-04", "p_pyte": "冻精", "d_type": "奶牛", "d_count": 100, "d_num": 20200103, "e_sex": "普通"}]}]}

# 解决办法二：不人为构造列表，直接用json进行转换
@app.route("/")
def index():
ret = collection.find()
return json.dumps(json.loads(json_util.dumps(ret)),ensure_ascii=False)
# 这样直接给前端范围一个列表

# 前端显示
[{"_id": {"$oid": "5dd24fd26567f28b57b1b8c3"}, "sheep_number": "1", "equipement_number": "88888888", "s_detail": [{"p_time": "2019-01-01", "p_type": "本交", "s_time": "2019-01-02", "o_number": 1}, {"p_time": "2020-01-01", "p_type": "本交", "s_time": "2020-01-02", "o_number": 2}]}, {"_id": {"$oid": "5dd252096567f28b57b1b90c"}, "sheep_number": "2", "equipement_number": "88888888", "s_detail": [{"p_time": "2019-01-02", "p_type": "冻精", "d_type": "山羊", "d_count": 100, "d_number": 20191118}, {"p_time": "2020-01-02", "p_type": "冻精", "d_type": "山羊", "d_count": 100, "d_number": 20200102}]}, {"_id": {"$oid": "5dd253506567f28b57b1b944"}, "sheep_number": "3", "equipement_number": "88888888", "s_detail": [{"p_time": "2019-01-03", "s_time": "2019-01-04", "p_pyte": "冻精", "d_type": "奶牛", "d_count": 100, "d_num": 20190103, "e_sex": "性控"}, {"p_time": "2020-01-03", "s_time": "2020-01-04", "p_pyte": "冻精", "d_type": "奶牛", "d_count": 100, "d_num": 20200103, "e_sex": "普通"}]}]</pre>
</div>
（二）取出的数据有中文，前端无法显示问题
<div class="cnblogs_code">
<pre># 解决办法：ensure_ascii:False 
@app.route("/")
def index():
ret = {"name":"张"}
return json.dumps(ret,ensure_ascii=False)

if __name__ == '__main__':
app.run(debug=True)</pre>
</div>
（三）增删改查
<div class="cnblogs_code">
<pre># 查询单条数据
query = {"sheep_number":"1"}
db.find_one(query)
# 查询带有过滤条件
加入要过滤id,其他字段都保留则，设置查询条件为
query = {"sheep_number":"1"} limit = {"_id":0} # 将不需要显示的字段以键值对的形式设置，值为0
db.find_one(query,limit)
# 查询所有数据
db.find(query)
# 增加一条数据
query = {"sheep_number":"1"}
insert_info = {"a":1,"b":2}
先查询到数据，在给指定的字段增加信息
db.update(query,{"$addToSet":{"指定的字段名称":insert_info}})
# 修改一条数据
query = {"sheep_number":"1"}
alter_info = {"sheep_number":"100"}
db.update_one(query,{"$set":alter_info})
# 删除一条数据
query = {"sheep_number":"1"}
db.delete_one(query)</pre>
</div>
 
 
  
来源：https://www.cnblogs.com/meloncodezhang/p/11442640.html

頁: [1]

琼殿技术论坛's Archiver

mongodb数据库