本家様 https://ceph.io/
オブジェクトストレージ, ブロックストレージ, ファイルシステムを提供するオープンソースなSoftware-Defined Storage Platform.
オブジェクトストレージ:Hadoopやamazon S3なすとレージ, ブロックストレージ: /dev/vda, /dev/vdbとか提供します. ファイルシステム: posix準拠なファイルシステム
開発者たちは今現在IBMにいるそうです

ここではこのうち Ceph を使ったPOSIX互換ファイルシステム CephFS を取り上げます

Cephにはバージョン名があって下記の通りになってます ubuntuっぽい
https://docs.ceph.com/docs/master/releases/general/, https://docs.ceph.com/en/latest/releases/

Release nameInitial releaseLatestEnd of life(23.12.24時点)備考
Reef2023-08-0718.2.12025-08-01(estimated)IBM Storage Ceph 7
Quincy2022-04-1917.2.72024-06-01(estimated)IBM Storage Ceph 6
Pacific2021-03-3116.2.142023-10-01(estimated)IBM Storage Ceph 5
Octopus2020-03-2315.2.172022-08-09
Nautilus2019-03-1914.2.222021-06-30Red Hat Ceph Storage 4
Mimic2018-06-0113.2.102020-07-22
Luminous2017-08-0112.2.132020-03-01Red Hat Ceph Storage 3

*毎年メジャーバージョンアップがある

ここでは「Reef」を導入します. 導入方法は docker/podmnanの上に構築する cephadm を使うのが推奨されてますが、ここではOSの上に直に作っていきます.
cephはmonitor, manager, osd, metadata らと機能を提供するために各種に特化した作りこみが必要です.
っで構成はこんな感じで.

ホスト名役目IPアドレス[public network]cluster networkOSストレージ
ceph-mgrCeph Manager
Ceph Monitor
192.168.0.47/24Rockylinux9.2os(16GB)
ceph-mdsCeph Metadata Server
Ceph Monitor
192.168.0.48/24os(16GB)
ceph-osd1Ceph OSDs
Ceph Monitor
192.168.0.49/2410.10.10.49/24os(16GB), osd(16GB)*2
ceph-osd2Ceph OSDs192.168.0.50/2410.10.10.50/24os(16GB), osd(16GB)*2
ceph-osd3Ceph OSDs192.168.0.51/2410.10.10.51/24os(16GB), osd(16GB)*2

リポジトリ登録と関連アプリのインストール

まずcephに関係するすべてのノードにcephリポジトリを登録します.
参照 https://docs.ceph.com/en/latest/install/get-packages/

cat << _EOF_  > /etc/yum.repos.d/ceph.repo
[ceph]
name=Ceph packages for \$basearch
baseurl=https://download.ceph.com/rpm-reef/el9/\$basearch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc
 
[ceph-noarch]
name=Ceph noarch packages
baseurl=https://download.ceph.com/rpm-reef/el9/noarch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc
 
[ceph-source]
name=Ceph source packages
baseurl=https://download.ceph.com/rpm-reef/el9/SRPMS
enabled=0
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc
_EOF_

cephリポジトリの中身詳細 Ceph/repository
あとepelリポジトリも入れておきます「dnf install epel-release -y」

次は各ノードでの作業になります.

Ceph Monitor

まず初めにmonitorノードを1つ作り上げます. ここではceph-managerと同居させてます. firewallでtcp:3300,6789を開けます

dnf install epel-release -y
dnf install ceph-mon -y
 
firewall-cmd --add-service=ceph-mon --permanent
firewall-cmd --reload

この段階で「ceph-crash.service」が動きます. あと「/etc/ceph/」「/var/lib/ceph/」「/var/log/ceph/」が掘られる. ユーザcephが作られます.

Ceph Monitor

Ceph Manager/Dashboard

firewallのtcp:6800-7300を開けます. webブラウザで動作確認ができる「dashboard」もインストールされます

dnf install epel-release -y
dnf install ceph-mgr -y
 
firewall-cmd --add-service=ceph --permanent
firewall-cmd --reload

Ceph Manager

Ceph OSDs

firewallのtcp:6800-7300を開けます.

dnf install epel-release -y
dnf install ceph-osd ceph-volume -y
 
firewall-cmd --add-service=ceph --permanent
firewall-cmd --reload

Ceph OSDs

CephFS Metadata Server

firewallのtcp:6800-7300を開けます.

dnf install epel-release -y
dnf install ceph-mds -y
firewall-cmd --add-service=ceph --permanent
firewall-cmd --reload

CephFS Metadata Server

CephFS Client

dnf install epel-release -y
dnf install ceph-common ceph-fuse -y
firewall-cmd --add-service=ceph --permanent 
firewall-cmd --reload

CephFS Client

メモ

「ceph -s」の実行で「Module 'restful' has failed dependency: No module named 'pecan'」と表示されたらCeph Monitorノードに追加で下記パッケージをインストールする.

[root@ms ~]# pip3 install pecan cherrypy werkzeug

CentOS8 stream

rpm -Uvh https://download.ceph.com/rpm-octopus/el8/noarch/ceph-release-1-1.el8.noarch.rpm
 
yum install centos-release-openstack-train -y
yum install epel-release snappy gdisk gperftools-libs -y
yum install leveldb -y
yum install ceph -y
[root@ceph-mgr ~]# ceph -s
  cluster:
    id:     c2d06c20-9197-40b4-a8c4-1a0604936ce8
    health: HEALTH_WARN
            2 mgr modules have recently crashed

とHEALTH_WARNメッセージがあるなら「ceph crash ls」

[root@ceph-mgr ~]# ceph crash ls
ID                                                                ENTITY        NEW
2024-01-04T05:51:12.262993Z_71368c30-4c13-4eaf-bdae-c0d66307d784  mgr.ceph-mgr   *
2024-01-04T05:51:14.240766Z_52dbb01e-f34f-46b7-956a-71b2f83a7e7f  mgr.ceph-mgr   *
 
 
[root@ceph-mgr ~]# ceph crash rm 2024-01-04T05:51:12.262993Z_71368c30-4c13-4eaf-bdae-c0d66307d784

参照先

https://www.cnblogs.com/netant-cg/p/10696205.html

ベンター各社の提案構成

ベンター各社様から提案構成が掲示されている
https://ceph.io/use-cases/

最新の60件
2024-04-19 2024-04-18 2024-04-17 2024-04-16 2024-04-15 2024-04-11 2024-04-06 2024-04-05 2024-03-30 2024-03-29 2024-03-19 2024-03-17 2024-03-15 2024-03-06 2024-03-05 2024-03-03 2024-02-23 2024-02-22 2024-02-21 2024-02-20 2024-02-19 2024-02-18 2024-02-17 2024-02-13 2024-02-12 2024-02-09 2024-02-04 2024-02-03 2024-01-31 2024-01-30 2024-01-29 2024-01-28 2024-01-22 2024-01-16 2024-01-13 2024-01-09 2024-01-08 2024-01-07 2024-01-03 2023-12-22 2023-12-17

edit


トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2024-01-13 (土) 16:07:56