MongoDB 分片集群技术
在了解分片集群之前,务必要先了解复制集技术!
1.1 MongoDB复制集简介
一组Mongodb复制集,就是一组mongod进程,这些进程维护同一个数据集合。复制集提供了数据冗余和高等级的可靠性,这是生产部署的基础。
1.1.1 复制集的目的
保证数据在生产部署时的冗余和可靠性,通过在不同的机器上保存副本来保证 ...
MongoDB 入门篇
1.1 数据库管理系统
在了解MongoDB之前需要先了解先数据库管理系统
1.1.1 什么是数据?
数据(英语:data),是指未经过处理的原始记录。
一般而言,数据缺乏组织及分类,无法明确的表达事物代表的意义,它可能是一堆的杂志、一大叠的报纸、数种的开会记录或是整本病人的病历纪录。数据描述事物的符 ...
爬虫技术
第一篇:爬虫基本原理
第二篇:请求库之requests,selenium
第三篇:解析库之re、beautifulsoup、pyquery
第四篇:存储库之mongodb,redis,mysql
第五篇:爬虫高性能相关
第六篇:Scrapy框架
第七篇:分布式爬虫
第八篇:爬虫实战
#1、微信聊天机器人
#2、数据可视化之pyecharts
#3、爬取汽车之家新闻资讯
#4、自动登 ...
使用Spring访问Mongodb的方法大全——Spring Data MongoDB查询指南
1.概述
Spring Data MongoDB 是Spring框架访问mongodb的神器,借助它可以非常方便的读写mongo库。本文介绍使用Spring Data MongoDB来访问mongodb数据库的几种方法:
使用Query和Criteria类
JPA自动生成的查询方法
使用@Query 注解基于JSON查询
在开始前,首先需要引入maven依赖
1.1 添加Maven的依赖
如果您想使用Spring D ...
基于vue2.0 +vuex+ element-ui后台管理系统:包括本地开发调试详细步骤
效果演示地址,
github地址:
demo演示:
1、About
此项目是 vue2.0 + element-ui + node+mongodb 构建的后台管理系统,所有的数据都是从服务器实时获取的真实数据,具有真实的注册、登录、数据显示、新增数据、修改数据、删除数据等功能。
2、说明
如果对您对此项目有兴趣,可以 ...
自学前端学习路线图
前端很火,想自学前端的人也多。作为过来人,知道自学的辛苦。特来给大家分享这份学习路线图,让想自学前端的小伙伴们有一份系统专业的学习资源和学习指导。若是觉得有用记得给点个赞哦!无论你是刚入门的小白,还是已经工作的前端开发者都能从中获取到你想要的资料! 先附上前端思维导图一张,自己下功夫一点点总结的 ...
Nosql简介 Redis,Memchche,MongoDb的区别
本篇文章主要介绍Nosql的一些东西,以及Nosql中比较火的三个数据库Redis、Memchache、MongoDb和他们之间的区别。以下是本文章的阅读目录
1.Nosql简介
2.Nosql的特点和关系型数据库的区别
3.Redis,Memcache,MongoDb的特点与区别
4.参考文章
Nosql介绍
Nosql的全称是Not Only Sql,这个概念早起就有人提出,在09年的时 ...
Windows 10下Docker使用经验谈
最近一直在开发Apworks框架的案例代码,同时也在一起修复Apworks框架中的Bug和一些设计上的不足。遇到的一个普遍问题是,代码的调试过程需要依赖很多外部系统,比如MongoDB、PostgreSQL、RabbitMQ等。当然可以在本机逐一安装这些服务,然后对服务进行配置,使其满足自己开发调试的需要。这样做当然是没有问题的,只是比较麻 ...
程序员如何打造属于自己的云笔记服务
目录
前言
介绍
安装
启动服务
使用配置
[APP访问](# APP访问)
前言
在这个互联网知识呈爆炸增长的时代,作为一个程序员要掌握的知识越来越多,然再好的记性也不如烂笔头,有了笔记我们就是可以时常扒拉扒拉以前的知识,顺便可以整理下自己的知识体系。
如今市面上云笔记产品,说实在真不少,什么有道,印象,为知等等, ...
介绍一款好用 mongodb 可视化工具
最近想自己搭建一个个人博客,所以学了下mongodb,mongodb是用命令行输入的,有些人可能不太习惯,我自己找了下mongodb的一些可视化工具,发现了一款adminmongo很好用,这里介绍给你们用一下。
github地址:https://github.com/mrvautin/adminMongo
安装方法:
1、把git仓库克隆到本地
git clone https://github.c ...
Prometheus : 入门
Prometheus 是一个开源的监控系统。支持灵活的查询语言(PromQL),采用 http 协议的 pull 模式拉取数据等特点使 Prometheus 即简单易懂又功能强大。
Prometheus 的主要特点
多维度数据模型
灵活的查询语言
不依赖分布式存储,单个服务器节点是自主的
通过 pull 方式采集时序数据
可以通过中间网关进行时序列数据推 ...
分布式系统中生成全局ID的总结与思考
世间万物,都有自己唯一的标识,比如人,每个人都有自己的指纹(白夜追凶给我科普的,同卵双胞胎DNA一样,但指纹不一样)。又如中国人,每个中国人有自己的身份证。对于计算机,很多时候,也需要为每一份数据生成唯一的标识。在这里,数据的概念是非常宽泛的,比如数据量记录、文件、消息,而唯一的标识我们称之 ...
mongodb 3.4 集群搭建升级版 五台集群
最新版mongodb推荐使用yaml语法来做配置,另外一些旧的配置在最新版本中已经不在生效,所以我们在生产实际搭建mongodb集群的时候做了一些改进。如果大家不熟悉什么是分片、副本集、仲裁者的话请先移步查看上一篇文章:mongodb 3.4 集群搭建:分片+副本集
和前一个版本相比,改动点有:
配置文件采用yaml方式来配置
生产中 ...
开源分享 Unity3d客户端与C#分布式服务端游戏框架
很久之前,在博客园写了一篇文章,《分布式网游server的一些想法语言和平台的选择》,当时就有了用C#做网游服务端的想法。写了个Unity3d客户端分布式服务端框架,最近发布了1.0版本,取名ET框架。ET框架的目标就是简化客户端开发,简化分布式服务端开发,但是功能非常强大,完全可以作为一个大型分布式服务端使用。ET框架有 ...
带着问题学习分布式系统之中心化复制集
假若我说有三个节点(计算机)要维护同一分数据,如果你对分布式系统并不了解,那么你可能会有什么问题呢,我想可能有两个最基本的问题:
为什么同一份数据要保存多分?
这些节点数据要一致吧,否则同时从多个节点读的时候数据不一样?
第一个问题,为什么要同一分数据要保存多分,是因为分布式系统中的 ...
electron + vue 实践项目
github地址
本地安装环境准备
安装node: * https://nodejs.org/en/download/
配置webpack: npm install -g webpack(sudo权限)
windows配置cnpm:
npm install -g cnpm --registry=https://registry.npm.taobao.org
因为npm的默认仓库在国外,下载很慢,国内淘宝搞了个CNPM,每10分钟同步一次,完全够用了
当 ...
redis和memcached的区别(总结)
观点一:
1、Redis和Memcache都是将数据存放在内存中,都是内存数据库。不过memcache还可用于缓存其他东西,例如图片、视频等等;
2、Redis不仅仅支持简单的k/v类型的数据,同时还提供list,set,hash等数据结构的存储;
3、虚拟内存--Redis当物理内存用完时,可以将一些很久没用到的value 交换到磁盘;
4、过期策略--memca ...
mongodb 3.4 集群搭建:分片+副本集
mongodb是最常用的nodql数据库,在数据库排名中已经上升到了前六。这篇文章介绍如何搭建高可用的mongodb(分片+副本)集群。
在搭建集群之前,需要首先了解几个概念:路由,分片、副本集、配置服务器等。
相关概念
先来看一张图:
从图中可以看到有四个组件:mongos、config server、shard、replica set。
mongos,数据库 ...
整理自己的.net工具库
前言
今天我会把自己平日整理的工具库给开放出来,提供给有需要的朋友,如果有朋友平常也在积累欢迎提意见,我会乐意采纳并补充完整。按照惯例在文章结尾给出地址^_^。
之前我开放其他源码的时候(Framework.MongoDB、AutoBuildEntity),都有引用我的Framework工具库,但是为什么现在才开放出来呢原因有几点:
相 ...
做了两款数据库监控工具,打算在近期开源
前言
很久没有更新博客了,但是这个习惯不能废,最近一直在做数据库方面的学习,做了两个数据库的监控工具,往各位博友指正。
MySQL监控工具
演示地址:[已关闭]
功能树:
这个工具可以分别帮忙开发人员、DBA、测试人员做各自关心的事情,例如开发人员可以监控SQL,分析慢查 ...