本家様 https://ceph.io/
Hadoopと同じものかなと思っていたのだが、POSIX互換を備えてごく普通のファイルシステムとして利用できるみたい.
各バージョンには別途名称が用意されている. ubuntuっぽい
https://docs.ceph.com/docs/master/releases/general/
Release name | Initial release | Latest | End of life(estimated) |
octopus | Mar 2020 | 15.2.1 | 2022-06-01 |
nautilus | Mar 2019 | 14.2.9 | 2021-06-01 |
mimic | Jun 2018 | 13.2.10 | 2020-06-01 |
luminous | Aug 2017 | 12.2.13 | 2019-06-01 |
*毎年メジャーバージョンアップがある
ここでは最新版の「octopus」を導入します.
cephadmの利用が推奨なのですが、ここでは使っておりません. またceph-deployはEOLなので使わずmanualで展開させてます
https://ceph.readthedocs.io/en/latest/install/
構成はこんな感じで.
役目 | ホスト名 | IPアドレス | OS | ストレージ | 備考 |
Ceph Monitor Ceph Manager | mgr | 192.168.0.47 | CentOS7.9 | 4GB(os) | master copy of the cluster map |
Ceph Monitor | mon1 mon2 | 192.168.0.112 192.168.0.113 | 4GB(os) | |
Ceph Metadata Server | mds | 192.168.0.48 | 4GB(os) | |
Ceph OSDs | osd1 osd2 osd3 | 192.168.0.49 192.168.0.50 192.168.0.51 | 3台とも同じ 4GB(os)+32GB(OSD) | |
Ceph Client | client | 192.168.0.18 | 4GB(os) | |
Ceph Client samba | ceph-smb | 192.168.0.115 | 8GB(os) | |
リポジトリ登録と関連アプリのインストール †
cephに関係するすべてのノードにcephリポジトリを登録します.
参照 https://docs.ceph.com/docs/master/install/get-packages/
(CentOS7)
rpm -Uvh https://download.ceph.com/rpm-octopus/el7/noarch/ceph-release-1-1.el7.noarch.rpm
(CentOS8)
rpm -Uvh https://download.ceph.com/rpm-octopus/el8/noarch/ceph-release-1-1.el8.noarch.rpm
cephリポジトリの中身詳細 CephFS/repository
epel リポジトリを追加して関連パッケージをインストールします.
https://ceph.readthedocs.io/en/latest/install/get-packages/#id3
yum install epel-release snappy gdisk python-argparse gperftools-libs
yum install leveldb
Ceph Monitor †
yum install ceph-selinux ceph-mon
firewall-cmd --add-service=ceph-mon --permanent # tcp:3300,6789を開けます
firewall-cmd --reload
Ceph Monitor
Ceph Manager †
yum install ceph-selinux ceph-mgr
firewall-cmd --add-service=ceph --permanent # tcp:6800-7300を開けます
firewall-cmd --reload
Ceph Manager
Ceph OSDs †
yum install ceph-selinux ceph-osd
yum install python36-six python36-PyYAML
firewall-cmd --add-service=ceph --permanent # tcp:6800-7300を開けます
firewall-cmd --reload
Ceph OSDs
CephFS Metadata Server †
yum install ceph-selinux ceph-mds
firewall-cmd --add-service=ceph --permanent # tcp:6800-7300を開けます
firewall-cmd --reload
CephFS Metadata Server
CephFS Client †
yum install ceph-selinux ceph-common ceph-fuse
firewall-cmd --add-service=ceph --permanent
firewall-cmd --reload
CephFS Client
dashboard †
CentOS8でないと無理っぽい. パッケージpython3-routes, python3-cherrypy, python3-jwtが CentOS7/epelリポジトリにないので
yum install ceph-mgr-dashboard.noarch
メモ †
「ceph -s」の実行で「Module 'restful' has failed dependency: No module named 'pecan'」と表示されたらCeph Monitorノードに追加で下記パッケージをインストールする.
[root@ms ~]# pip3 install pecan cherrypy werkzeug
CentOS8 stream
rpm -Uvh https://download.ceph.com/rpm-octopus/el8/noarch/ceph-release-1-1.el8.noarch.rpm
yum install centos-release-openstack-train -y
yum install epel-release snappy gdisk gperftools-libs -y
yum install leveldb -y
yum install ceph -y
参照先 †
https://www.cnblogs.com/netant-cg/p/10696205.html
ベンター各社の提案構成 †
ベンター各社様から提案構成が掲示されている
https://ceph.io/use-cases/
- https://ceph.io/use-cases/#suse-enterprise-storage-on-hpe-proliant
HPE様
「Admin」と書かれているがCephadmの事かな?ここに
DL360 Gen9(1U, E5-2620v3[2.4GHz,6core], 32GB, SmartArrayP440ar, NL-SAS 2TB*2, 10Gb*2) 1台
「Monitor」として
DL360 Gen9(1U, E5-2690v3[2.6GHz,10core]*2, 64GB, SmartArrayP440ar, SAS 600GB*2, 10Gb*2) 1台
「OSD」として
DL380 Gen9(2U, E5-2690v3[2.6GHz,10core]*2, 128GB, SmartArray840/4G, SAS 600GB*2 + NL-SAS 6TB*10, 10Gb*2) 1台
な構成.
「OSD」部分が2Uでどんどん積み上げていく感じでしょうか
- https://ceph.io/use-cases/#suse-enterprise-storage-on-dell-emc-poweredge-server
DELL EMC様
Administration Server
PowerEdge R640(1U, Gold5115[2.4GHz,10core], 128GB, 240GB sata*2[RAID1], 25Gb*2) 1台
Monitor Node(s)
PowerEdge R640(1U, Gold5115[2.4GHz,10core], 128GB, 240GB sata*2[RAID1] + 1TB sata*2[RAID1], 25Gb*2) 3台
OSD Nodes
PowerEdge R740(2U, Gold5115[2.4GHz,10core], 128GB, 240GB sata*2[RAID1] + 10TB sata*8, 25Gb*2) 4台