手动部署ceph octopus集群

2022年01月16日 阅读数:1
这篇文章主要向大家介绍手动部署ceph octopus集群,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

基础配置

三台环境为centos7.9,如下配置须要在每台机器上执行node

配置hosts解析

cat >> /etc/hosts <<EOF
192.168.2.16 node1
192.168.2.19 node2
192.168.2.18 node3
EOF

关闭防火墙和selinux

systemctl stop firewalld && systemctl disable firewalld
setenforce 0 && sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

分别在三个节点设置主机名

hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3

配置主机时间同步

systemctl restart chronyd.service && systemctl enable chronyd.service

使用yum安装

安装yum-plugin-priorities

 yum install yum-plugin-priorities

安装依赖包

yum install snappy leveldb gdisk python-argparse gperftools-libs epel-release

添加ceph仓库

建议使用阿里的源,国外的太慢了python

vim /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-15.2.8/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-15.2.8/el7/noarch/
gpgcheck=0

安装ceph

yum install ceph -y

部署monitor节点

全部 Ceph 群集至少须要一个monitor,而且至少须要与存储在群集上的对象副本同样多的 OSD。引导初始mon是部署 Ceph 存储群集的第一步,这里我直接在node一、node二、node3建立三个mon。linux

在node1添加monitor

为集群生成惟一的fsid,fsid是群集的惟一标识符,表明 Ceph 存储群集主要用于 Ceph 文件系统的文件系统 IDgit

uuidgen

建立ceph配置文件,将生成的fsid添加到配置文件中github

vim /etc/ceph/ceph.repo
[global]
fsid=9c079a1f-6fc2-4c59-bd4d-e8bc232d33a4

为群集建立keyring并生成monitor keyring。monitor经过密钥相互通讯。必须生成具备monitor密钥的keyring,并在引导初始monitor时提供keyring。web

ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'

生成管理员keyring,生成用户并将用户添加到client.admin keyring中。要使用 CLI 工具,必须有一个用户,而且还必须将用户添加到monitor keyring。bootstrap

ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'

生成引导 osd 密钥,生成用户并将用户添加到client.bootstrap-osd keyring中。swift

ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'

将生成的键添加到 ceph.mon.keyringvim

ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring

更改 ceph.mon.keyring的全部者。centos

chown ceph:ceph /tmp/ceph.mon.keyring

使用主机名、主机 IP 地址和 FSID 生成monitor映射。将其保存为 :/tmp/monmap

monmaptool --create --add node1 192.168.2.16 --add node2 192.168.2.19 --add node3 192.168.2.18 --fsid 9c079a1f-6fc2-4c59-bd4d-e8bc232d33a4 /tmp/monmap

查看生成的monitor映射文件

monmaptool --print /tmp/monmap

在monitor主机上建立默认数据目录,目录名是{cluster-name}-{hostname}格式

mkdir /var/lib/ceph/mon/ceph-node1
chmod 777 -R /var/lib/ceph/mon/ceph-node3

在node1节点对monitor进行初始化

ceph-mon --mkfs -i node1 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

能够查看数据目录生成的文件编辑ceph配置文件

[global]
fsid = 9c079a1f-6fc2-4c59-bd4d-e8bc232d33a4
mon initial members = node1,node2,node3
mon host = 192.168.2.16,192.168.2.19,192.168.2.18
mon clock drift allowed = .5
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
osd pool default size = 3  //建立pool的时候默认pool是3副本
osd pool default min size = 2   //pool最少可写的副本数为2
osd pool default pg num = 8
osd pool default pgp num = 8
osd crush chooseleaf type = 0 

将配置文件拷贝到其余节点

scp /etc/ceph/ceph.conf node2:/etc/ceph/ceph.conf
scp /etc/ceph/ceph.conf node3:/etc/ceph/ceph.conf

将mon keyring,mon map及admin keyring拷贝到其余节点

scp /tmp/ceph.mon.keyring node2:/tmp/ceph.mon.keyring
scp /etc/ceph/ceph.client.admin.keyring node2:/etc/ceph/ceph.client.admin.keyring
scp /tmp/monmap node2:/tmp/monmap
scp /tmp/ceph.mon.keyring node3:/tmp/ceph.mon.keyring
scp /etc/ceph/ceph.client.admin.keyring node3:/etc/ceph/ceph.client.admin.keyring
scp /tmp/monmap node3:/tmp/monmap

在node二、node3上添加monitor

分别在这两个节点建立数据目录

mkdir /var/lib/ceph/mon/ceph-node2
chmod 777 -R /var/lib/ceph/mon/ceph-node2
mkdir /var/lib/ceph/mon/ceph-node3
chmod 777 -R /var/lib/ceph/mon/ceph-node3

分别在这两个节点对monitor进行初始化

ceph-mon --mkfs -i node2 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
ceph-mon --mkfs -i node3 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

分别在三个节点启动ceph-mon服务

systemctl start ceph-mon@node1 && systemctl enable ceph-mon@node1
systemctl start ceph-mon@node2 && systemctl enable ceph-mon@node2
systemctl start ceph-mon@node3 && systemctl enable ceph-mon@node3
image.png

能够看到提示3 monitors have not enabled msgr2"

执行如下命令恢复正常

ceph mon enable-msgr2
image.png

建立MGR

在运行ceph-mon守护程序的每一个节点上,还应该设置一个ceph-mgr守护程序。

建立密钥目录

全部mgr节点都要执行

sudo -u ceph mkdir /var/lib/ceph/mgr/ceph-`hostname -s`
cd /var/lib/ceph/mgr/ceph-`hostname -s`

建立身份验证密钥

ceph auth get-or-create mgr.`hostname -s` mon 'allow profile mgr' osd 'allow *' mds 'allow *' > keyring

启动mgr守护进程

systemctl enable ceph-mgr@`hostname -s` && systemctl start ceph-mgr@`hostname -s`

看样子状态有点异常,在全部节点执行下面的命令以后重启机器便可解决

Module 'restful' has failed dependency: No module named 'pecan'

pip3 install pecan werkzeug
image.png

部署osd

Ceph提供了该ceph-volume实用程序,该实用程序能够准备逻辑卷,磁盘或分区以供Ceph使用。该ceph-volume实用程序经过增长索引来建立OSD ID。

建立osd

在node1执行

ceph-volume lvm create --data /dev/sdb

上面的建立过程能够分为两个阶段(准备和激活):

ceph-volume lvm prepare --data /dev/sdb
查看osd fsid
ceph-volume lvm list
ceph-volume lvm activate {ID} {FSID}

当建立完osd以后,咱们发现osd服务已经起来了当咱们在node二、node3节点执行此命令的时候报错了,发现缺乏密钥文件拷贝密钥文件

scp /var/lib/ceph/bootstrap-osd/ceph.keyring node2:/var/lib/ceph/bootstrap-osd/ceph.keyring
scp /var/lib/ceph/bootstrap-osd/ceph.keyring node3:/var/lib/ceph/bootstrap-osd/ceph.keyring

修改密钥属主属组

chown ceph.ceph /var/lib/ceph/bootstrap-osd/ceph.keyring

分别在node二、node3建立osd

ceph-volume lvm create --data /dev/sdb

也能够分步执行

ceph-volume lvm prepare --data /dev/sdb
##获取osd id 和osd fsid
ceph-volume lvm list
##激活osd
ceph-volume lvm activate {ID} {FSID}

最后状态是这样的

添加MDS

建立mds数据目录

mkdir -p /var/lib/ceph/mds/ceph-`hostname -s`
chown -R ceph.ceph /var/lib/ceph/mds/ceph-`hostname -s`

建立keyring

ceph-authtool --create-keyring /var/lib/ceph/mds/ceph-`hostname -s`/keyring --gen-key -n mds.`hostname -s`

导入keyring并设置权限

ceph auth add mds.`hostname -s` osd "allow rwx" mds "allow" mon "allow profile mds" -i /var/lib/ceph/mds/ceph-`hostname -s`/keyring
chown ceph:ceph /var/lib/ceph/mds/ceph-`hostname -s`/keyring

修改ceph.conf配置文件

cat >> /etc/ceph/ceph.conf <<EOF
[mds.node1]
host = node1

[mds.node2]
host = node2

[mds.node3]
host = node3
EOF

启动mds服务

systemctl enable ceph-mds@`hostname -s` && systemctl start ceph-mds@`hostname -s`

如今状态应该是这样的

对象存储RGW安装

RGW是Ceph对象存储网关服务RADOS Gateway的简称,是一套基于LIBRADOS接口封装而实现的FastCGI服务,对外提供RESTful风格的对象存储数据访问和管理接口。RGW基于HTTP协议标准,所以很是适用于Web类的互联网应用场景,用户经过使用SDK或者其余客户端工具,可以很方便地接入RGW进行图片、视频以及各种文件的上传或下载,并设置相应的访问权限,共享给其余用户。

安装radosgw

yum install ceph-radosgw -y

建立rgw相关的资源池

资源池列表及部分资源池功能介绍以下。

  • .rgw:region和zone配置信息。
  • .rgw.root:region和zone配置信息。
  • .rgw.control:存放notify信息。
  • .rgw.gc:用于资源回收。
  • .rgw.buckets:存放数据。
  • .rgw.buckets.index:存放元数据信息。
  • .rgw.buckets.extra:存放元数据扩展信息。
  • .log:日志存放。
  • .intent-log:日志存放。
  • .usage:存放用户已用容量信息。
  • .users:存放用户信息。
  • .users.email:存放用户E-mail信息。
  • .users.swift:存放swift类型的帐号信息。
  • .users.uid:存放用户信息。
ceph osd pool create .rgw 8 8
ceph osd pool create .rgw.root 8 8
ceph osd pool create .rgw.control 8 8
ceph osd pool create .rgw.gc 8 8
ceph osd pool create .rgw.buckets 8 8
ceph osd pool create .rgw.buckets.index 8 8
ceph osd pool create .rgw.buckets.extra 8 8
ceph osd pool create .log 8 8
ceph osd pool create .intent-log 8 8
ceph osd pool create .usage 8 8
ceph osd pool create .users 8 8
ceph osd pool create .users.email 8 8
ceph osd pool create .users.swift 8 8
ceph osd pool create .users.uid 8 8

建立过程会遇到这个报错,缘由是每一个osd默认最多只支持250个pg,这里有两种解决办法,一种是删除以前建立的pool,并新建pool时把pg设置小一点,另外一种则是修改osd默认最大pg数,这里我用了第二种,修改完配置文件后,重启mon

Error ERANGE:  pg_num 8 size 3 would mean 771 total pgs, which exceeds max 750 (mon_max_pg_per_osd 250 * num_in_osds 3)

编辑配置文件

vim /etc/ceph/ceph.conf
[global]
mon_max_pg_per_osd = 1000

#重启mon
systemctl restart ceph-mon@`hostname -s`

可使用rados lspools查看是否建立成功

新建RADOSGW用户和keyring

建立keyring

ceph-authtool --create-keyring /etc/ceph/ceph.client.radosgw.keyring
chown ceph:ceph /etc/ceph/ceph.client.radosgw.keyring

生成ceph-radosgw服务对应的用户和key

ceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.rgw.node1 --gen-key
ceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.rgw.node2 --gen-key
ceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.rgw.node3 --gen-key

添加用户访问权限

ceph-authtool -n client.rgw.node1 --cap osd 'allow rwx' --cap mon 'allow rwx' /etc/ceph/ceph.client.radosgw.keyring
ceph-authtool -n client.rgw.node2 --cap osd 'allow rwx' --cap mon 'allow rwx' /etc/ceph/ceph.client.radosgw.keyring
ceph-authtool -n client.rgw.node3 --cap osd 'allow rwx' --cap mon 'allow rwx' /etc/ceph/ceph.client.radosgw.keyring

将keyring导入集群中

ceph -k /etc/ceph/ceph.client.admin.keyring auth add client.rgw.node1 -i /etc/ceph/ceph.client.radosgw.keyring
ceph -k /etc/ceph/ceph.client.admin.keyring auth add client.rgw.node2 -i /etc/ceph/ceph.client.radosgw.keyring
ceph -k /etc/ceph/ceph.client.admin.keyring auth add client.rgw.node3 -i /etc/ceph/ceph.client.radosgw.keyring

编辑配置文件

cat >> /etc/ceph/ceph.conf << EOF
[client.rgw.node1]
host=node1
keyring=/etc/ceph/ceph.client.radosgw.keyring
log file=/var/log/radosgw/client.radosgw.gateway.log
rgw_frontends = civetweb port=8080
[client.rgw.node2]
host=node2
keyring=/etc/ceph/ceph.client.radosgw.keyring
log file=/var/log/radosgw/client.radosgw.gateway.log
rgw_frontends = civetweb port=8080
[client.rgw.node3]
host=node3
keyring=/etc/ceph/ceph.client.radosgw.keyring
log file=/var/log/radosgw/client.radosgw.gateway.log
rgw_frontends = civetweb port=8080
EOF

建立日志目录

mkdir /var/log/radosgw
chown ceph:ceph /var/log/radosgw

拷贝keyring、ceph.confceph.conf到node二、node3

scp /etc/ceph/ceph.client.radosgw.keyring node2:/etc/ceph/ceph.client.radosgw.keyring
scp /etc/ceph/ceph.client.radosgw.keyring node3:/etc/ceph/ceph.client.radosgw.keyring
scp /etc/ceph/ceph.conf node2:/etc/ceph/ceph.conf
scp /etc/ceph/ceph.conf node3:/etc/ceph/ceph.conf

在node二、node3部署RGW

修改keyring属主

chown ceph:ceph /etc/ceph/ceph.client.radosgw.keyring

建立日志目录并受权

mkdir /var/log/radosgw
chown ceph:ceph /var/log/radosgw

启动rgw服务

systemctl start ceph-radosgw@rgw.`hostname -s` && systemctl enable ceph-radosgw@rgw.`hostname -s`

查看ceph状态,发现有个小问题使用ceph health detail查看详情,根据提示enable便可使用curl访问服务





公众号:运维开发故事

github:https://github.com/orgs/sunsharing-note/dashboard

爱生活,爱运维

若是你以为文章还不错,就请点击右上角选择发送给朋友或者转发到朋友圈。您的支持和鼓励是我最大的动力。喜欢就请关注我吧~

扫码二维码

关注我,不按期维护优质内容

舒适提示

若是你喜欢本文,请分享到朋友圈,想要得到更多信息,请关注我。

                                              ........................


本文分享自微信公众号 - 运维开发故事(mygsdcsf)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。