数据库综合论坛 今日: 0|主题: 865|排名: 10 

  前言   LSM-Tree 是很多 NoSQL 数据库引擎的底层实现，例如 LevelDB，Hbase 等。本文基于《数据密集型应用系统设计》中对 LSM-Tree 数据库的设计思路，结合代码实现完整地阐述了一个迷你数据库，核心代码 500 行左右，通过理论结合实践来更好地理解数据库的原理。 一、SSTable（排序字符串表）   之前 ...

最近因为一些工作内容的调整，准备完善下开发环境的建设，让原本游离的环境管理更加合理。简单总结了下，数据库开发环境存在一些潜在隐患和瓶颈： 1)目前公司内的数据库开发环境是业务自主建设，没有DBA协助支持，有的部门会购买专门的服务器部署，有的会复用一些IDC的服务器资源，使用方式较碎片化 2)数据库开发 ...

影响SQL执行效率的因素主要包括以下几点。 1)统计信息，具体如下 陈旧的统计信息 错误的优化器参数配置 数据库迁移前后优化器的改变 频繁的数据量变化 2)SQL语句编写问题 3)游标共享问题，具体如下 变量窥探 使用常量 4)资源争用问题，具体如下 硬件资源不足 锁或latch等 ...

数据库不应成为危及安全和隐私的“切入口”，以下技术可以帮助降低数据库安全风险并确保合规性。 数据库中含有大量个人信息，甚至包含一些敏感信息，为管理这些数据的公司带来了不少麻烦。现在，复杂的工具和技术使得数据库开发人员可以通过保持信息的私密性来整体提升数据库的安全性。 这些解决方案主要取决于对 ...

关于 sql 语句的执行顺序网上有很多资料，但是大多都没进行验证，并且很多都有点小错误，尤其是对于 select 和 group by 执行的先后顺序，有说 select 先执行，有说 group by 先执行，到底它俩谁先执行呢? 今天我们通过 explain 来验证下 sql 的执行顺序。 在验证之前，先说结论，Hive 中 sql 语句的执行顺序如下 ...

各位对 ”锁“ 这个概念应该都不是很陌生吧，Java 语言中就提供了两种锁：内置的 synchronized 锁和 Lock 接口，使用锁的目的就是管理对共享资源的并发访问，保证数据的完整性和一致性，数据库中的锁也不例外。 “锁" 是数据库系统区别于文件系统的一个关键特性，其对象是事务，用来锁定的是数据库中的对象，如表、 ...

与工作端代码一起创建的数据集定期包含业务基本原理的战略部分。SQL是代码。你应该尽早批准它，而且要彻底批准。 测试金字塔是有助于描述编程测试特征的一种显著表示形式。当您逐步实现更值得注意的段协调时，您将继续从许多确定的、快速的和非接触的测试，转向总体上批准框架的越来越慢的全球测试。这在基本层面上是个 ...

【51CTO.com快译】在过去的十年间，我们亲历了关系型、非关系型、在线分析处理(OLAP)型、以及在线事务处理(OLTP)型数据库的市场之争，也注意到了诸如：Snowflake、MongoDB、Cockroach Labs、以及Neo4j等新型数据库的产生和发展。而根据DB-Engines的一项针对数据库管理系统调查的统计(如下图所示)，时序型数据库(time s ...

1、避免混乱的逻辑 反例：(统计用户数量) List<User> users = userMapper.selectAll();  return users.size();  正例： int count = userMapper.countUser("select count(*) from user");  return count;  2、select one 如果已知结果只有一条, 使用limit 1 反例：(查找 ...

时序数据库(TSDB: Time Series Database)大多数时候都是为了满足监控场景的需求，这里先介绍两个概念： 数据点(Point): 时序数据的数据点是一个包含 (Timestamp:int64, Value:float64) 的二元组。 时间线(Series): 不同标签(Label)的组合称为不同的时间线，如 series1: {"__name__": "netspeed", "hos ...

常有朋友问，数据分析师的SQL功底该学到什么程度。今天就先谈谈 T-SQL 中的 Window Function. Window Function 包含了 4 个大类。分别是： 1 - Rank Function 2 - Aggregate Function 3 - Offset Function 4 - Distribution Function. 1 - Rank Function 平常用到最多 1.1 Rank() Over() ...

没有正确的指导，它很容易混淆SQL。由于团队中的每个人都可能有自己的写作SQL习惯，因此您可以快速结束一个没有人理解的令人困惑的代码。 您可能意识到遵循一套良好实践的重要性..这篇文章为您提供了您正在寻找的指导! 1. 使用大写的关键字 让我们从一个基本开始：使用大写的SQL关键字，以及小写的表和列。使用S ...

前言 我们通过 OLTP(联机事务处理)系统实时处理用户数据，还需要在 OLAP(联机分析处理)系统中对它们进行分析,今天我们来看下如何使用 SQL 分析数据。 使用 SQL 进行数据分析的几种方式 在 DBMS(数据库管理系统) 中，有些数据库很好地集成了 BI 工具，可以方便我们对收集的数据进行商业分析。 比如在SQL Server ...

本文会分享四个在面试和工作中常用的几个使用技巧，具体包括： 日期与期间的高级使用 临时表与Common Table Expression (WITH) Aggregation 与CASE WHEN的结合使用 Window Function的其他用途 数仓?不就是写写SQL吗… 日期与时间段的筛选在工作中是经常被用到的，因为在拉取报表、仪表板和各 ...

目录 你需要集群数据库吗? 你需要分布式数据库吗? 你的数据库预算是多少? 附：CAP 定理 你需要集群数据库吗? 集群数据库与单节点数据库相比有多个优点，但费用和复杂性更高。除此之外，集群数据库还有更高的可用性、更高的吞吐量，在一些情况下还有更低的延迟。 对于每个节点都有整个数据库副本的集群而言，你 ...

目录 1.磁盘or内存? 1.1 磁盘 1.2 内存 2.数据 3.用户记录 3.1 额外信息 3.1.1 变长字段列表 3.1.2 null值列表 3.1.3 记录头信息 3.2 隐藏列 3.3 真正数据列 3.4 用户记录是如何相连的? 4.最大和最小记录 5.页目录 6.文件头部和尾部 6.1 文件头部 6.2 文件尾部 7.页头部 总结 前言 如果你使用过my ...

目录 背景 怎么定义幻读? RR级别如何解决幻读? 最后 背景 这个事情要回溯到曾经背八股文的时候了，想必大家在背八股文的时候对于事务隔离级别都已经背得滚瓜烂熟了，一般在说隔离级别的时候，都顺带会提到mysql的innodb的RR隔离级别，由于他与众不同的实现方式,通常会有下面的一些描述： 在我的脑海里面一直 ...

与80年代初期相比，今天的数据库技术，可以说是取得了长足猛进的发展。不仅在硬件的选择上，不再视大型机为唯一，还可以根据具体的业务需求，选择更贴近业务场景需求的数据库产品。 如今，软、硬件技术在不断进步，使得数据库的种类发生了翻天覆地的变化。除了过去常用的关系型数据库，我们还可以选择时序数据库、 ...

比如查找用户名包含有"c"的所有用户, 可以用 use mydatabase select * from table1 where username like'%c%" 下面是完成上面功能的另一种写法: use mydatabase select * from table1 where charindex('c',username)>0 这种方法理论上比上一种方法多了一个判断语句,即>0, 但这个判断过程是最快的,  ...

目录 1迷茫的小黑 2大器晚成NoSQL 3给NoSQL一首歌的时间 4MySQL vs NoSQL 5NoSQL明星项目 5.1 谷歌出品LevelDB 5.2 脸书出品RocksDB 5.3 ideawu的SSDB 5.4 360出品Pika 5.5 其他NoSQL 6本文小结 1迷茫的小黑 小黑最近有点郁闷。 手头的工作不是特别喜欢，技术退步有点严重，于是想出去看看机会。 小 ...