CEPH篇 CEPH部署（在线和离线 Centos 7）

每天笑一笑哈哈哈 發表於 2020-1-3 16:19:00

CEPH篇 CEPH部署（在线和离线 Centos 7）

<blockquote>
<h2 id="1655959080">引入</h2>
</blockquote>
　　这篇只记录部署，如果需要概念理解，则前往其他篇章查看。暂时不包含MDS的部署，因为不准备使用文件系统，所以不需要元数据服务器
　　在线部署和离线部署差别只在包的下载，如果在线部署过了，那么资源包可以放入U盘，下次就可以离线部署。
<blockquote>
<h2 id="1655959080">正文</h2>
</blockquote>
<blockquote>
<h3 id="1655959080">部署准备</h3>
</blockquote>
<h4>关闭防火墙和selinux</h4>
<div class="cnblogs_code">
<pre>systemctl stop firewalld
systemctl disable firewalld

setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config</pre>
</div>
<h4>修改主机名</h4>
各个机器下分别执行如下命令
<div class="cnblogs_code">
<pre>hostnamectl set-hostnamehost145
hostnamectl set-hostnamehost146
hostnamectl set-hostnamehost147</pre>
</div>
修改后在每台机器上修改/etc/hosts文件
<div class="cnblogs_code">
<pre>10.1.12.145host145
10.1.12.146host146
10.1.12.147host147</pre>
</div>
<h4>配置SSH互信</h4>
选择一台部署主机，这边选择host146，在root用户下开启SSH互信操作
<div class="cnblogs_code">
<pre>在部署节点上，使用这个命令ssh-keygen 一路回车，生成公钥。
然后通过命令ssh-copy-id -i~/.ssh/id_rsa.pub {hostname} 把公钥复制到部署需要设计的主机上。
Sshhostname测试是否成功。</pre>
</div>
<h4>配置yum(分为在线和离线)</h4>
<h5>在线</h5>
<div class="cnblogs_code">
<pre>#链接阿里云的配置
rm -rf /etc/yum.repo.d/ *.repo

#CentOS 7 源设置
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

#epel 仓库源
wget -O /etc/yum.repos.d/epel.repohttp://mirrors.aliyun.com/repo/epel-7.repo</pre>
</div>
编辑 Ceph.repo源：
<div class="cnblogs_code">
<pre>
name=ceph-nautilus
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64/
enabled=1
gpgcheck=0

name=ceph-nautilus-noarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/
enabled=1
gpgcheck=0 </pre>
</div>
<div class="cnblogs_code">
<pre>#生成缓存
yumclean all, yum makecache
#生成包
yum install ceph-14.2.2-0.el7 ceph-deploy</pre>
</div>
<h5>离线</h5>
<div class="cnblogs_code">
<pre>#安装 createreporpm包
yum install httpd
#开启httpd服务:
systemctl start httpd
#复制所有的ceph和第三方的rpm包到(包已经提前准备好，如果没有包则使用在线部署)
10.1.12.146: /var/www/html/ceph/
#执行命令
createrepo /var/www/html/ceph/

#在需要安装的客户端配置 repo 文件
/etc/yum.repos.d/ceph.repo

name=ceph
baseurl=http://10.1.12.146/ceph/ 
gpgcheck=0

#将此ceph.repo复制到每个主机/etc/yum.repo.d/目录中。
scp ceph.reporoot@host145:/etc/yum.repos.d/
scp ceph.reporoot@host147:/etc/yum.repos.d/</pre>
</div>
<h4>NTP安装</h4>
<div class="cnblogs_code">
<pre>#安装
yum install ntp
#执行最好在局域网内，建立自己的时间同步源。其中ntpdate 是客户端命令，连接时间同步服务器，修改自己的时间。一定要同步时间，
ntpdate -s time-b.nist.gov</pre>
</div>
修改配置文件
<div class="cnblogs_code">
<pre>#修改 /etc/ntp.conf文件
#注释下面4行
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst</pre>
</div>
服务器节点修改如下
<div class="cnblogs_code">
<pre>server 127.127.1.0
fudge  127.127.1.0 stratum 10</pre>
</div>
验证下
<div class="cnblogs_code">
<pre>ntpq –p –-查看ceph-admin的ntp服务器是否为自身
remote refid st t when poll reach delayoffsetjitter
==========================================================================
*LOCAL(0) .LOCL. 10 l28 64377 0.000 0.000 0.000
这样的输出证明已经配置成功了。</pre>
</div>
配置其他节点
<div class="cnblogs_code">
<pre>#其他服务器都连接admin节点，其中段: server 210.72.145.44 iburst
Server 10.1.12.146 -----------–为ceph-admin的IP
fudge  127.127.1.0 stratum 11</pre>
</div>
重启后检查
<div class="cnblogs_code">
<pre>systemctl restart ntpd
systemctl enable ntpd
#查看是否为ceph-admin
ntpq –p
#结果如下
remote refid st t when poll reach delayoffsetjitter
===========================================================================
*ceph-admin LOCAL(0) 11 u13 64 1 1.236 -0.700 0.000
Remote ：*ceph-admin
Refid：LOCAL(0)
如果是其他的，如：refid：init就为配置不成功，按此步骤在其他节点进行配置。</pre>
</div>
<blockquote>
<h3>部署CEPH</h3>
</blockquote>
<h4>部署ceph和ceph-deploy　　</h4>
在所有上都安装ceph，主节点上额外安装ceph-deploy
<div class="cnblogs_code">
<pre>#每个主机安装 ceph
yum install ceph
#Admin节点安装
yum install ceph-deploy</pre>
</div>
<h4>部署监控节点（mon）</h4>
添加节点
<div class="cnblogs_code">
<pre>#在管理节点上
cd /root/ceph
ceph-deploy new host146host145host147

#修改这个文件，添加：overwrite_conf = true
vim/ root/.cephdeploy.conf </pre>
</div>
<h4>部署mon</h4>
<div class="cnblogs_code">
<pre>mkdir-p /etc/ceph/
mkdir /var/lib/ceph
#ceph用户是ceph的默认用户，不要去新建哦
chownceph:ceph -R /var/lib/ceph

#（必须当前目录有ceph.mon.keyring）
ceph-deploy--overwrite-confmon create-initial</pre>
</div>
重启命令
<div class="cnblogs_code">
<pre>#host是主机
systemctl restart/start/stopceph-mon@host</pre>
</div>
<h4>部署mgr</h4>
<div class="cnblogs_code">
<pre>ceph-deploy mgr createhost146

ps -ef | grep ceph 查找host
#重启
systemctl restart/start/stopceph-mgr@host</pre>
</div>
<h4>部署OSD</h4>
先要有挂载磁盘，用系统盘也可以，但是并不安全，这里有两个方案
　　1.找几台新机器，OSD挂载的目录反正随便定，新机器上的数据都无所谓
　　2.额外挂载磁盘，可以对挂载磁盘做虚拟化，LVM，可以部署更多OSD
可以执行lsblk命令查看，如果磁盘已经被挂载，则会报错哦
<div class="cnblogs_code">
<pre>#新版本ceph默认是 bluetore .使用如下命令
ceph-deploy --overwrite-conf osd create--data /dev/vdb $HOSTNAME

#查看集群硬盘树编号。（部署节点）需要拷贝配置文件（ceph.conf）到/etc/ceph/!!!否则会连接不到集群
ceph osd tree
#重启
systemctl restart/start/stopceph-osd@0, 1, 2,3, </pre>
</div>
<h4>部署RGW</h4>
<div class="cnblogs_code">
<pre>#单机的只需要在一台服务器上安装，如果负载均衡，可以安装3台服务器。S
现在安装在146
yuminstallceph-radosgw
#或者
ceph-deploy install--rgw wn</pre>
</div>
启动
<div class="cnblogs_code">
<pre>ceph-deploy --overwritergw createhost173(主机名)
#查看启动端口为7480

#检查服务是否启动
ps aux|grep radosgw

#重启这个id可以通过查看rados进程，查看名称得到，例如rgw.host146
systemctl restart/start/stopceph-radosgw@id </pre>
</div>
桶分片
<div class="cnblogs_code">
<pre># 如果每个桶中对象数量较少，比如小于10000，可以不操作此步骤，大于10万对象，一定要设置下面的参数。
#如果设计方案中，一个桶中存储对象数量大于几千万，需要关闭动态分片，同时设置最大分片数量。
#在radosgw 进程所在的服务器。
vi/etc/ceph.conf
#桶动态分片默认开启
rgw_dynamic_resharding = false
#桶中最大分片的数量 ，
rgw_override_bucket_index_max_shards=16
#重启服务。（rgw）</pre>
</div>
<h4>建立账号（S3）</h4>
<div class="cnblogs_code">
<pre># system参数是为了使用dashboard，该账号可以再页面上看到数据
radosgw-admin user create --uid testid --display-name 'M. Tester'--system
#记住这两个东西
"access_key":
"secret_key":</pre>
</div>
<div class="cnblogs_code">
<pre>#部署失败返回错误的处理方法：
#只有建立 bucket ,上传一个对象后，才能出现default.rgw.buckets.data池，然后调整pg num .
#这个时候，解决pg/osd 太少的警报。

#部署时候如果遇到 rgw 失败，现实的日志为：
# 0 ext_mime_map_init failed to open file=/etc/mime.types : (2) No such file or ##directory
#7f709e8c48c0 -1 ERROR: unable to initialize rgw tools
#这是因为没有/etc/mime.types
#需要安装
yum install mailcap

#如果启动失败，有时候需要将 /var/lib/ceph/radosgw 的用于root 改成 ceph .
chown ceph:ceph –R*</pre>
</div>
<h4>部署dashboard</h4>
<div class="cnblogs_code">
<pre>yum install ceph-mgr-dashboard
ceph dashboard create-self-signed-cert
#写上账号和密码
ceph dashboard set-login-credentialsadmin admin</pre>
</div>
打开页面后长这样：
<img src="https://img2018.cnblogs.com/blog/919970/202001/919970-20200103170624169-2096154245.png" alt="" width="625" height="391">
这时候你有可能（就是如此）在object gateway里面看不到bucket内容，需要再添加一个命令：
<div class="cnblogs_code">
<pre>$ ceph dashboard set-rgw-api-access-key <access_key>
$ ceph dashboard set-rgw-api-secret-key <secret_key></pre>
</div>
如果你忘记了你的账户，或者需要新建一个账户：
<div class="cnblogs_code">
<pre>$ radosgw-admin user create --uid=<user_id> --display-name=<display_name> \
--system</pre>
</div>
如果是忘了两个key
<div class="cnblogs_code">
<pre>$ radosgw-admin user info --uid=<user_id></pre>
</div>
这样就可以啦，完
<img src="https://img2018.cnblogs.com/blog/919970/202001/919970-20200103171116135-2116034406.png" alt="" width="802" height="160">
  
来源：https://www.cnblogs.com/garfieldcgf/p/12145504.html

頁: [1]

琼殿技术论坛's Archiver

CEPH篇 CEPH部署（在线和离线 Centos 7）