CephFS

本家様 https://ceph.io/
Hadoopと同じものかなと思っていたのだが、POSIX互換を備えてごく普通のファイルシステムとして利用できるみたい.

各バージョンには別途名称が用意されている. ubuntuっぽい
https://docs.ceph.com/docs/master/releases/general/

*毎年メジャーバージョンアップがある

ここでは最新版の「octopus」を導入します.
cephadmの利用が推奨なのですが、ここでは使っておりません. またceph-deployはEOLなので使わずmanualで展開させてます
https://ceph.readthedocs.io/en/latest/install/

構成はこんな感じで.

リポジトリ登録と関連アプリのインストール †

cephに関係するすべてのノードにcephリポジトリを登録します.
参照 https://docs.ceph.com/docs/master/install/get-packages/

(CentOS7)
rpm -Uvh https://download.ceph.com/rpm-octopus/el7/noarch/ceph-release-1-1.el7.noarch.rpm
(CentOS8)
rpm -Uvh https://download.ceph.com/rpm-octopus/el8/noarch/ceph-release-1-1.el8.noarch.rpm

cephリポジトリの中身詳細 CephFS/repository
epel リポジトリを追加して関連パッケージをインストールします.
https://ceph.readthedocs.io/en/latest/install/get-packages/#id3

yum install epel-release snappy gdisk python-argparse gperftools-libs
yum install leveldb

Ceph Monitor †

yum install ceph-selinux ceph-mon
firewall-cmd --add-service=ceph-mon --permanent       # tcp:3300,6789を開けます
firewall-cmd --reload

Ceph Monitor

Ceph Manager †

yum install ceph-selinux ceph-mgr
firewall-cmd --add-service=ceph --permanent           # tcp:6800-7300を開けます
firewall-cmd --reload

Ceph Manager

Ceph OSDs †

yum install ceph-selinux ceph-osd
yum install python36-six python36-PyYAML
firewall-cmd --add-service=ceph --permanent           # tcp:6800-7300を開けます
firewall-cmd --reload

Ceph OSDs

CephFS Metadata Server †

yum install ceph-selinux ceph-mds
firewall-cmd --add-service=ceph --permanent           # tcp:6800-7300を開けます
firewall-cmd --reload

CephFS Metadata Server

CephFS Client †

yum install ceph-selinux ceph-common ceph-fuse
firewall-cmd --add-service=ceph --permanent 
firewall-cmd --reload

CephFS Client

dashboard †

CentOS8でないと無理っぽい. パッケージpython3-routes, python3-cherrypy, python3-jwtが CentOS7/epelリポジトリにないので

yum install ceph-mgr-dashboard.noarch

メモ †

「ceph -s」の実行で「Module 'restful' has failed dependency: No module named 'pecan'」と表示されたらCeph Monitorノードに追加で下記パッケージをインストールする.

[root@ms ~]# pip3 install pecan cherrypy werkzeug

CentOS8 stream

rpm -Uvh https://download.ceph.com/rpm-octopus/el8/noarch/ceph-release-1-1.el8.noarch.rpm
 
yum install centos-release-openstack-train -y
yum install epel-release snappy gdisk gperftools-libs -y
yum install leveldb -y
yum install ceph -y

参照先 †

https://www.cnblogs.com/netant-cg/p/10696205.html

ベンター各社の提案構成 †

ベンター各社様から提案構成が掲示されている
https://ceph.io/use-cases/

• https://ceph.io/use-cases/#suse-enterprise-storage-on-hpe-proliant
  HPE様
  「Admin」と書かれているがCephadmの事かな？ここに
  DL360 Gen9(1U, E5-2620v3[2.4GHz,6core], 32GB, SmartArrayP440ar, NL-SAS 2TB*2, 10Gb*2) １台
  「Monitor」として
  DL360 Gen9(1U, E5-2690v3[2.6GHz,10core]*2, 64GB, SmartArrayP440ar, SAS 600GB*2, 10Gb*2) １台
  「OSD」として
  DL380 Gen9(2U, E5-2690v3[2.6GHz,10core]*2, 128GB, SmartArray840/4G, SAS 600GB*2 + NL-SAS 6TB*10, 10Gb*2) １台
  な構成.
  「OSD」部分が2Uでどんどん積み上げていく感じでしょうか
• https://ceph.io/use-cases/#suse-enterprise-storage-on-dell-emc-poweredge-server
  DELL EMC様
  Administration Server
  PowerEdge R640(1U, Gold5115[2.4GHz,10core], 128GB, 240GB sata*2[RAID1], 25Gb*2) １台
  Monitor Node(s)
  PowerEdge R640(1U, Gold5115[2.4GHz,10core], 128GB, 240GB sata*2[RAID1] + 1TB sata*2[RAID1], 25Gb*2) ３台
  OSD Nodes
  PowerEdge R740(2U, Gold5115[2.4GHz,10core], 128GB, 240GB sata*2[RAID1] + 10TB sata*8, 25Gb*2) ４台