-
建议都在Bootstrap节点上操作
-
拓展和管理节点
#免密方式下发公钥
yum install -y sshpass
sshpass -p 'password' ssh-copy-id -f -i /etc/ceph/ceph.pub -o StrictHostKeyChecking=no root@node2
sshpass -p 'password' ssh-copy-id -f -i /etc/ceph/ceph.pub -o StrictHostKeyChecking=no root@node3
#添加节点并且配置标签
ceph orch host add <hostname> --labels=_admin,mon,mgr
#排空节点中的所有守护进程（节点会被打上_no_schedule的标签）
ceph orch host drain <hostname> [--force] [--zap-osd-devices]
ceph orch osd rm status #检查OSD删除操作的进度
#删除节点（删除节点前要先排空节点）
ceph orch host rm <hostname> #正常节点移除
ceph orch host rm <hostname> --offline --force #离线节点移除（如果主机处于离线状态且无法恢复）
#清理节点（节点要已经从集群删除并且要在被清理的节点上运行）
ceph fsid #获取集群fsid
cephadm rm-cluster --fsid 22a2a1a6-4cc9-11ef-adac-000c295daf9b --force --zap-osds
#节点进入维护模式（此时节点状态会被修改为Maintenance）
ceph orch host maintenance enter <hostname> [--force] [--yes-i-really-mean-it]
#节点退出维护模式
ceph orch host maintenance exit <hostname>
- 管理节点标签
#节点添加标签
ceph orch host label add <hostname> <label>
#节点移除标签
ceph orch host label rm <hostname> <label>
#特殊标签_admin
_admin标签默认拥有mon和mgr的角色
_admin标签默认应用于集群Bootstrap节点
集群Bootstrap节点生成client.admin的特权文件/etc/ceph/ceph.client.admin.keyring
将_admin标签添加给其他节点后，其他节点也会拥有client.admin的特权文件/etc/ceph/ceph.client.admin.keyring
#特殊标签_no_schedule
_no_schedule标签会阻止cephadm调度或部署节点上的守护进程
_no_schedule标签上的节点不会在其上部署守护进程
在删除节点前排空时会在改节点上设置_no_schedule标签
#特殊标签_no_autotune_memory
_no_autotune_memory标签不会在主机上自动微调内存
- 管理守护进程
#守护进程的类型
Ceph服务：mon、mgr、osd、mds、rbd、rbd-mirror、crash
Ceph网关：nfs、rgw
监控堆栈：Alertmanager、Prometheus、Grafana、Node-exporter
#配置5个随机MON
ceph orch apply mon 5
#禁用自动部署MON
ceph orch apply mon --unmanaged
#守护进程放置
ceph orch apply mon --placement="node1 node2 node3" #MON
ceph orch apply mgr --placement="node1 node2" #MGR
ceph orch apply alertmanager --placement="node1 node2 node3" #Alertmanager
ceph orch apply grafana --placement="node1 node2 node3" #Grafana
ceph orch apply prometheus --placement="node1 node2 node3" #Prometheus
- 健康检查
#查看集群的基本健康状态
ceph health
#查看集群的详细健康状态
ceph health detail
#清除所有健康检查历史记录
ceph healthcheck history clear
#列出所有健康检查历史记录
ceph healthcheck history ls [--format {plain|json|json-pretty|yaml}]
- 管理OSD
#满足以下条件则存储设备被视为可用
该设备不能有分区
不得挂载该设备
该设备不得包含文件系统
该设备不得包含Ceph BlueStore OSD
该设备必须大于5GB
#清除设备数据
ceph orch device zap <hostname> <path> [--force]
#开启自动添加OSD（Ceph使用任何可用且未使用的存储设备）
ceph orch apply osd --all-available-devices
#禁止自动添加OSD（禁用可用设备上的OSD自动创建）
ceph orch apply osd --all-available-devices --unmanaged=true
#特定主机上的特定设备创建OSD
ceph orch daemon add osd <hostname>:<device-path>
#删除OSD
ceph orch osd rm <osd_id> [--replace] [--force] --zap
ceph orch osd rm status #检查移除OSD的状态
#激活OSD（重新安装主机操作系统后）
ceph cephadm osd activate <hostname>