GaussDB T分布式集群数据库每日维护必做必知

喜欢冬天的飘雪 發表於 2023-12-9 00:00:00

GaussDB T分布式集群数据库每日维护必做必知

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/593746415aa48f5d284904000004c3d4.jpg" width="auto">

继《GaussDB T分布式集群这样安装部署不踩坑》，我们开始GaussDB T每日维护必做的事情。新的一天从开启主机开始，把虚拟机打开后发现上次安装的数据库没有自启动，所有节点启动的相关进程仅cm_agent进程：

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/79dc66ed8a90d7243f86ad81b630c105.jpg" width="auto">

这个时候我们先要拉起ETCD：

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/a058e2556f5b81a198401446c71923a3.jpg" width="auto">

OK，ETCD成功拉起，接下来我们拉起整个集群：

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/6cc086a5856e7f14149367efcc4320cb.jpg" width="auto">

集群拉起成功。

后面我们会将ETCD及集群自动拉起加入自启动，下面开始回到开篇的主题，每日维护开始。

一、集群状态检查

第一件事当然是检查集群各节点资源状态情况啦，至于看啥，我们用一张图来了解要点：

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" src="https://zhuji.jb51.net/uploads/img/202305/a1b9babaee2b36775037acf46ed04810.jpg">

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" src="https://zhuji.jb51.net/uploads/img/202305/ca5bc020de422872493f568e563f687d.jpg">

1、查看各节点资源是否是ON LINE，其中包括CM,CN,DN,ETCD等，如果不是，需进一步核查原因了。

2、查看各节点对比昨日是否涉及节点切换情况，查看节点对应的HOST即可。如有则异常，需进一步核查原因了。

二、检查主机资源使用情况(所有主机)

1、主机目录使用率

df -h

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/8a759fdbf1b148bcff9d733e030106a3.jpg" width="auto">

2、CPU、内存及IO使用情况

这个检查的方法很多，这里使用了vmstat,iostat,free，请重点关注以下红框标示的位置。

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/84a70326432ae17e1075813fb32793b9.jpg" width="auto">

释：id列代表的是CPU空闲率，free列代表的是空闲内存，单位为页。

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/f450d43884dd2403fda9224de9022f7f.jpg" width="auto">

释：rMB/s及wMB/s的是每秒读写情况，%util在统计时间内所有处理IO时间，除以总共统计时间。例如，如果统计间隔1秒，该设备有0.8秒在处理IO，而0.2秒闲置，那么该设备的%util = 0.8/1 = 80%，所以该参数暗示了设备的繁忙程度。如果该参数是100%表示设备已经接近满负荷运行了(当然如果是多磁盘，即使%util是100%，因为磁盘的并发能力，所以磁盘使用未必就到了瓶颈)。

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/5f1cdeeaaba1f5f9de38bdf86cb5d2a4.jpg" width="auto">

释：重点关注free及available。

注：本节资源检查需与基线进行比对，如出入过大需进一步核查原因。

三、核查各节点数据库状态

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" src="https://zhuji.jb51.net/uploads/img/202305/936c5453175e4f659e85c421f78d446a.jpg">

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/719470d2d3dce3236a4e517544f20872.jpg" width="auto">

确认CN及DN都处于open状态，注意备DN是mount状态。

四、表空间使用率检查

当在进行使用率检查之前，先说下表空间如何创建。

1、连接到cn

zsql omm/gaussdb_123@127.0.0.1:8000 –q



<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" src="https://zhuji.jb51.net/uploads/img/202305/3b3d3e30e0b40464a5debeb690975148.jpg">

2、创建表空间

CREATE TABLESPACE tbs_test1 DATAFILE 'tbs_test1' size 100m SHARD;

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/a0c8a40c63a9494f7835a17f6ada9aa1.jpg" width="auto">

注：创建表空间时，使用SHARD关键字则支持将创建表空间语句自动下发至CN和DN节点且仅支持使用相对路径;若不使用SHARD关键字，则可使用绝对路径，同时需要在所有CN和主DN节点上都创建这个表空间后，才能正常在这个表空间下创建表。

3、检查数据文件，我们会发现在CN及DN都创建了对应的表空间及数据文件

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/c7380a2f12f68ff07b0c9d45eec72078.jpg" width="auto">

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/de14a666578cd14689ec2203e1d35674.jpg" width="auto">

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/1f825727a9d93fc9d4e02f9f9bdb5d30.jpg" width="auto">

注：连接主DN使用如下命令连接。

zsql / as sysdba -D /gaussdb/data/data_dn1 -q

4、检查表空间的使用率
<ol class="dp-sql">
<li class="alt">
set line 300 
</li>
<li>
set pages 2000 
</li>
<li class="alt">
set timing off 
</li>
<li>
col tablespace_name for a25 
</li>
<li class="alt">
col sum_GB for a15 
</li>
<li>
col free_GB for a15 
</li>
<li class="alt">
col use_precent for a15 
</li>
<li>
select b.tablespace_name, 
</li>
<li class="alt">
 round(sum(b.bytes) / 1024 / 1024 / 1024, 0) sum_GB, 
</li>
<li>
 round(sum(nvl(a.bytes, 0)) / 1024 / 1024 / 1024, 0) free_GB, 
</li>
<li class="alt">
 round((sum(b.bytes) - sum(nvl(a.bytes, 0))) / sum(b.bytes), 4) * 100 use_precent, 
</li>
<li>
 count(*) 
</li>
<li class="alt">
 from (select tablespace_name, file_id, sum(bytes) bytes 
</li>
<li>
 from adm_free_space 
</li>
<li class="alt">
 group by tablespace_name, file_id) a, 
</li>
<li>
 adm_data_files b 
</li>
<li class="alt">
 where a.file_id(+) = b.file_id 
</li>
<li>
 and a.tablespace_name(+) = b.tablespace_name 
</li>
<li class="alt">
 group by b.tablespace_name 
</li>
<li>
having round((sum(b.bytes) - sum(nvl(a.bytes, 0))) / sum(b.bytes), 4) * 100 >= 0 
</li>
<li class="alt">
 order by 4 desc; 
</li>
</ol>

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" src="https://zhuji.jb51.net/uploads/img/202305/e38b669b9c698a61076a620a6a788026.jpg">

注：表空间使用率检查需在所有的主CN及主DN运行。

五、异常等待事件检查

col event form a38

select event,count(*) from DV_SESSIONS where LOCK_WAIT = 'Y' group by event order by 2 desc;

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/a05a7a4325166bcaef0345182de3f3df.jpg" width="auto">

注：在所有主DN核查是否存在异常等待事件。

如图所示存在TX等待，我们可以通过以下SQL查看下锁源在干啥：
<ol class="dp-sql">
<li class="alt">
select SID,SERIAL#,USERNAME,CURR_SCHEMA,CLIENT_IP,CLIENT_PORT,OSUSER,MACHINE,PROGRAM, 
</li>
<li>
STATUS,LOCK_WAIT,EVENT,MODULE,CURRENT_SQL from dv_sessions 
</li>
<li class="alt">
where sid in (select WAIT_SID from v$session where event like '%TX%'); 
</li>
</ol>

如发现会话状态是非活动且是应用程序连上来的，可以联系应用核查是否正常，如可以kill我们可以运行ALTER SYSTEM KILL SESSION 'SID,SERIAL#'; 杀会话。

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/868f25c7631418e56020c59e7c2e89f6.jpg" width="auto">

六、日志检查

在数据库运行过程中，会产生大量用于数据库日常维护的运行、审计、 DEBUG、告警等日志。在数据库发生故障时，可以使用这些日志进行问题定位和数据库恢复的操作。

下面就常用的日志类型做下简介：

1、运行日志

打印GaussDB T数据库运行信息，如果数据库出现故障，请查看zengine.rlog。

日志目录：默认为“ $GSDB_DATA/log/run/zengine.rlog”或参数log_home对应的路径run子目录下，如果想修改其路径重启生效。

CN节点：

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/01927bf8d66c9682bba736e8ee62446f.jpg" width="auto">

DN节点：

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/ecce6c5cf5c5febd7b33cc610194e6b0.jpg" width="auto">

查看运行日志如下：

<img title="GaussDB T分布式集群数据库每日维护必做必知" alt="GaussDB T分布式集群数据库每日维护必做必知" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/576a7651a91cdd9e2318f337e7f997a6.jpg" width="auto">

2、慢查询日志

打印GaussDB 100数据库执行时间超过阈值(由LONGSQL_TIMEOUT参数控制)的SQL信息到zengine.lsql日志文件中。

日志目录：默认为“ $GSDB_DATA/log/longsql/zengine.lsql”。

3、告警日志

打印GaussDB 100数据库运行告警信息。如需了解告警信息，请查看zenith_alarm.log。

日志目录：“ $GSDB_DATA/log/zenith_alarm.log”。

4、操作日志

记录用户通过ZSQL工具对GaussDB 100数据库的操作信息。如果需要了解操作记录，请查看zsql.olog。

日志目录：“ $GSDB_DATA/log/oper/zsql.olog”。

5、TRACE日志

记录数据库会话死锁的信息。如需查看会话死锁信息，请查看zengine_00003_xxxxxx.trc。

日志目录：“ $GSDB_DATA/trc/zengine_00003_xxxxxx.trc”。

常见错误码：

GS-00716：Found %s deadlock in session (%u)

错误原因：不同会话中并发交叉操作了同一批数据，造成死锁。

解决办法：
<ul>
<li>
查看trace log 或者 run log (根据数据库版本不同，死锁日志位置不同);</li>
<li>
根据日志里记录的具体信息，包括死锁类型，SQL语句等，排查业务语句。</li>
</ul>

GS-00715：The snapshot was outdated.

错误原因：快照过旧。

解决办法：
<ul>
<li>
重新运行SQL;</li>
<li>
将长时间运行的高耗SQL优化或拆分。</li>
</ul>

GS-00713：No free undo page

错误原因：UNDO表空间不足。

解决办法：
<ul>
<li>
增大UNDO表空间大小;</li>
<li>
将大事务kill释放UNDO。</li>
</ul>

GS-00305：%s timeout

错误原因：网络api超时。

解决办法：
<ul>
<li>
请确保主机网络正常。</li>
</ul>

GS-00774：Failover in progress, can not be connected

错误原因：备机正在做failover时，主机的日志发送线程来连接备机。

解决办法：
<ul>
<li>
将主机停止掉，待备机升主后，将原主降备。</li>
</ul>

GS-00839：Flush redo file:%s, offset:%u, size:%lu failed

错误原因：写redo日志文件的时候失败了，一般是文件系统或者磁盘有问题。

解决办法：
<ul>
<li>
检查操作系统或磁盘。</li>
</ul>

GaussDB T数据库维护的工作很多，除了以上每日必做的事情之外，还有会话连接失败、缓冲区刷盘失败、CN/DN节点状态异常、CM Server节点状态异常、主备DN节点日志同步延迟过大等等问题核查。其中很多我们可以通过使用Database Manager分析处理告警或者使用自己开发脚本实现告警。

维护的目的是让系统更稳定，维护工作越简单，维护人员就越不容易出错。尽可能的把维护工作脚本化、工具化、自动化，将人员解放出来做更有价值的事情是我们的目标。路漫漫其修远兮，一起加油吧!

原文链接：https://mp.weixin.qq.com/s/XLfwEeh2HUVVOKPMIdDddg

頁: [1]

琼殿技术论坛's Archiver

GaussDB T分布式集群数据库每日维护必做必知