Redis五种数据类型及应用场景
MySql+Memcached架构的问题
实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题：
1.MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开 ...
Redis和MongoDB的区别(面试受用)
项目中用的是MongoDB，但是为什么用其实当时选型的时候也没有太多考虑，只是认为数据量比较大，所以采用MongoDB。
最近又想起为什么用MongoDB，就查阅一下，汇总汇总：
之前也用过redis，当时是用来存储一些热数据，量也不大，但是操作很频繁。现在项目中用的是MongoDB，目前是百万级的数据，将来会有千万级、亿级。
就Redi ...
MongoDB安装配置教程
数据是每一前端人员必定接触的一样，所有的数据都是后端来编写，如果自己想练习项目，却没有数据，而是写一些假数据，去编写，或者通过json-server搭建一个数据，今天我们就通过MongoDB来搭建一个真正的数据库，从安装到配置到编写，一步到位，也是小编安装配置过程中，所遇到的问题，安装下面的步骤，一步一步的来 ...
Asp.Net Core Web Api图片上传(一)集成MongoDB存储实例教程
# Asp.Net Core Web Api图片上传及MongoDB存储实例教程（一）
图片或者文件上传相信大家在开发中应该都会用到吧，有的时候还要对图片生成缩略图。那么如何在Asp.Net Core Web Api实现图片上传存储以及生成缩略图呢？今天我就使用MongoDB作为图片存储，然后使用SixLabors作为图片处理，通过一个Asp.Net Core Web Api实例来 ...
.NET Core Community 第三个千星项目诞生：爬虫 DotnetSpider
本文所有打赏将全数捐赠于 NCC（NCC 的资金目前由 倾竹大人 负责管理），请注明捐赠于 NCC。捐赠情况将由倾竹大人在此处公示。
DotnetSpider 至力于打造一个轻量化、高效率、易开发、可管理的一体化爬虫框架。它的核心要素是URL调度、基本的网页内容下载器、基于爬虫实体类的爬虫实现模式、常用数据库的支持、多线程的支 ...
mongodb高级聚合查询
在工作中会经常遇到一些mongodb的聚合操作，特此总结下。mongo存储的可以是复杂类型，比如数组、对象等mysql不善于处理的文档型结构，并且聚合的操作也比mysql复杂很多。
注：本文基于 mongodb v3.6
目录
mongo与mysql聚合类比
aggregate简介
aggregate语法
aggregate常用pipeline stage介绍(本文核心)
node操作mongo ...
MongoDB分页的Java实现和分页需求的思考
前言
传统关系数据库中都提供了基于row number的分页功能，切换MongoDB后，想要实现分页，则需要修改一下思路。
传统分页思路
假设一页大小为10条。则
//page 1
1-10
//page 2
11-20
//page 3
21-30
...
//page n
10*(n-1) +1 - 10*n
MongoDB提供了skip()和limit()方法。
skip: 跳过指定数量的数据. 可以用来跳过当前页 ...
【node】------mongoose的基本使用------【巷子】
1、安装mongoose
npm install mongoose
2、启动数据库
mongod --dbpath d:\data\db
3、引入mongoose模块并连接数据库
const mongoose = require("mongoose");
mongoose.connect("mongodb://127.0.0.1:27017/test1",function(err) {
if(err){
console.log('连接失败');
}else{
...
一个能够在Asp.Net和Asp.NetCore之间能够互相通讯的Rpc
一、特性
1、跨平台
2、提供负载均衡算法
3、支持ZK服务协调
4、提供了JSON、BinarySerializer、还有自定义的序列化方式
5、客户端提供Socket连接池，以便于快速交互，防止类似大文件上传时会阻塞
6、支持异步方法
7、支持.net与.netcore之间通信
8、支持采用MongoDb收集请求信息（采用双缓冲队列，极限的不影响传输速度）
...
一文读懂 Spring Boot、微服务架构和大数据治理三者之间的故事
微服务架构
微服务的诞生并非偶然，它是在互联网高速发展，技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物。互联网时代的产品通常有两类特点：需求变化快和用户群体庞大，在这种情况下，如何从系统架构的角度出发，构建灵活、易扩展的系统，快速应对需求的变化；同时，随着用户的增加，如何 ...
求生欲很强的数据库
最近一个月来一直在做某局的项目，涉及到了微信支付相关的业务。业务本身也是一套完整的从下单到支付到退款的全流程，我司和三方联调开发，个中滋味不表。
其中从最开始就遇到一个反复出现（偶发性）的问题，有时候数据库无法快速且正常返回查询结果。我先后从多个方面进行尝试调试，寻求解决办法。
我先还原一下场 ...
[原创]手把手教你写网络爬虫（6）：分布式爬虫
手把手教你写网络爬虫（6）
作者：拓海 (https://github.com/tuohai666)
摘要：从零开始写爬虫，初学者的速成指南！
封面：
下面是一个超级计算机的排行榜，如果我们能拥有其中任意一个，那么我们就不需要搞什么分布式系统。可是我们买不起，即使买得起，也交不起电费，所以我们只好费脑子搞分布式。
...
推荐文章一览表
table { width: 100% }
.postBody a:active, .postBody a:link, .postBody a:visited { text-decoration: none }
#cnblogs_post_body th, #cnblogs_post_body td, .cnblogs-post-body th, .cnblogs-post-body td { padding-left: 10px }
.postBody td { height: 30px; width: 50%; padding-left: 10px }
推荐文章一览表
把 ...
以太坊开发DApp实战教程——用区块链、星际文件系统（IPFS）、Node.js和MongoDB来构建电商平台（一）
第一节 简介
欢迎和我们一起来用以太坊开发构建一个去中心化电商DApp！我们将用区块链、星际文件系统（IPFS）、Node.js和MongoDB来构建电商平台类似淘宝的在线电商应用，卖家可以自由地出售商品，买家可以自由地购物：
去中心化： 和淘宝或eBay不同，我们把所有的商业逻辑和核心数据都放在以太坊区块链上，这使 得它成为 ...
HBase学习之路 （一）HBase基础介绍
产生背景
自 1970 年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后， 好多公司实现处理大数据并从中受益，并开始选择像 Hadoop 的解决方案。Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapReduce 来处理。Hadoop 擅长于存储各种格式 的庞大的数据，任意的格式甚至非结构化的处理。
Hado ...
分布式学习最佳实践：从分布式系统的特征开始（附思维导图）
我的探索历程
这一部分，与分布式不大相关，记录的是我是如何在分布式学习这条道路上摸索的，不感兴趣的读者请直接跳到下一章。
过去的一年，我在分布式学习这条道路上苦苦徘徊，始终没有找到一个好的学习方法，一个能激励我持续学习的方法。
当然，我也在不停的反思，最先发现的问题是学习不系统，东看 ...
C#中DateTime的缺陷与代替品DateTimeOffset
C#中的DateTime在逻辑上有个非常严重的缺陷：
> var d = DateTime.Now;
> var d2 = d.ToUniversalTime();
> d == d2
false
> d.Equals(d2);
false
在C#交互模式中输入以上代码，可以发现尽管一个是本地时间（d），一个是UTC时间(d2)，只是时区不一样，但在这个世界上，应该属于同一个时刻。然而两个时间却不相等。。。
原 ...
双刃剑MongoDB的学习和避坑
双刃剑MongoDB的学习和避坑
MongoDB 是一把双刃剑，它对数据结构的要求并不高。数据通过key-value的形式存储，而value的值可以是字符串，也可以是文档。所以我们在使用的过程中非常方便。正是这种方便给我们埋下了一颗颗地雷。当内嵌的文档太深，或者内嵌文档有相同的属性名。你会被炸得很惨。本章节通过 MongoDB简介，Shel ...
使用vue-cli结合express获取mongodb里面的数据
最近一直在看node有关的内容，空闲时间做了一个小小的爬虫，用于爬取电影天堂的数据然后写到mongodb里面，代码地址：https://github.com/fangming666/dianyingtiantang/blob/master/nodeServer/index.js
然后获取的mongodb数据如下：
我们只需要得到data里面的数据就可以了。那么，我们怎么去得到呢，我的想法是，在vue-cl ...
MongoDB的备份与恢复
1.1 MongoDB的常用命令
mongoexport / mongoimport
mongodump / mongorestore
有以上两组命令在备份与恢复中进行使用。
1.1.1 导出工具mongoexport
Mongodb中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。可以通过参数指定导出的数据项，也可以根据指定的条件导出数据。
&n ...
