Ceph をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
本家様 [[https://ceph.io/>+https://ceph.io/]]
オブジェクトストレージ, ブロックストレージ, ファイルシス...
&size(10){オブジェクトストレージ：Hadoopやamazon S3なすと...
&size(10){開発者たちは今現在IBMにいるそうです};
ここではこのうち Ceph を使ったPOSIX互換ファイルシステム C...
Cephにはバージョン名があって下記の通りになってます &siz...
&size(10){[[https://docs.ceph.com/docs/master/releases/ge...
|BGCOLOR(YELLOW):Release name|BGCOLOR(YELLOW):Initial rel...
|Squid|2024-09-26|19.2.3|2026-09-19(estimated)||
|Reef|2023-08-07|18.2.7|2025-08-01(estimated)|IBM Storage...
|Quincy|2022-04-19|17.2.9|2025-01-13|IBM Storage Ceph 6|
|Pacific|2021-03-31|16.2.15|2024-03-04|IBM Storage Ceph 5...
|Octopus|2020-03-23|15.2.17|2022-08-09|SUSE Enterprise S...
|Nautilus|2019-03-19|14.2.22|2021-06-30| Red Hat Ceph Sto...
|Mimic|2018-06-01|13.2.10|2020-07-22||
|Luminous|2017-08-01|12.2.13|2020-03-01|Red Hat Ceph Stor...
&color(red){*};&size(10){毎年メジャーバージョンアップがあ...
ここでは「Squid」を導入します. 導入方法は docker/podmnan...
cephはmonitor, manager, osd, metadata らと機能を提供する...
っで構成はこんな感じで.
|BGCOLOR(YELLOW):ホスト名|BGCOLOR(YELLOW):役目|BGCOLOR(YE...
|ceph01 |Manager &br;&color(magenta){Monitor}; &br;Metad...
|ceph02 |Manager &br;&color(magenta){Monitor}; &br;Metad...
|ceph-osd1 |&color(magenta){Monitor}; &br; &color(orange...
|ceph-osd2 | &color(orange...
|ceph-osd3 | &color(orange...
***構築に必要なリソースとか [#b419cf5c]
[[Ceph/memo]]
***ceph向けリポジトリの登録 [#v02b10b1]
cephはyum/dnfでインストール可能で関係するすべてのノードに...
&size(10){参照 [[https://docs.ceph.com/en/latest/install/...
#code(nonumber){{
cat << _EOF_ > /etc/yum.repos.d/ceph.repo
[ceph]
name=Ceph packages for \$basearch
baseurl=https://download.ceph.com/rpm-squid/el9/\$basearch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc
[ceph-noarch]
name=Ceph noarch packages
baseurl=https://download.ceph.com/rpm-squid/el9/noarch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc
_EOF_
}}
&size(10){cephリポジトリの中身詳細 [[Ceph/repository]]};
その後に各役目毎に設定作業を行います
***ceph構築 [#n1c8b8b8]
-Ceph Monitor
まず初めにmonitorノードを作り上げます.
ceph01、ceph02 および ceph-osd1 にmonitor機能を載せます.
[[Ceph Monitor>Ceph/Monitor]]
-Ceph Manager
次にManagerノードを作ります. ここではceph01とceph02にその...
[[Ceph Manager>Ceph/Manager]]
-Ceph OSDs
MonitorとManagerが完成したので次にOSDを用意します
ここではceph-osd1、ceph-osd2、ceph-osd3でOSDを用意してます
[[Ceph OSDs>Ceph/OSD]]
-CephFS Metadata Server
ファイルシステムの作成にはこのmetadata serverが必要です.
[[CephFS Metadata Server>Ceph/MDS]]
-CephFS Client
クライアントからcephにアクセスします
[[CephFS Client>Ceph/Client]]
***nfs [#p274aa78]
cephfsをマウントしたceph clientをexportすれば、それでnfs...
cephでは NFS-Ganesha を経由して提供している.
#code(nonumber){{
[root@ceph01 ~]# dnf install centos-release-nfs-ganesha5....
[root@ceph01 ~]# dnf list available --disablerepo=* --ena...
:
nfs-ganesha-ceph.x86_64 ...
:
[root@ceph01 ~]# dnf install libcephfs2 nfs-ganesha n...
}}
既設のnfsサービスを停止します
#code(nonumber){{
[root@ceph01 ~]# systemctl stop nfs-server.service
[root@ceph01 ~]# systemctl disable nfs-server.service
(nfsなのでrpcbindは動かします)
[root@ceph01 ~]# systemctl enable rpcbind --now
}}
設定ファイルは「/etc/ganesha/ganesha.conf」でceph向けのsa...
#code(nonumber){{
[root@ceph01 ~]# mv /etc/ganesha/ganesha.conf /etc/ganesh...
[root@ceph01 ~]# cp /etc/ganesha/ceph.conf /etc/ganesha/g...
[root@ceph01 ~]# vi /etc/ganesha/ganesha.conf
NFS_CORE_PARAM
{
Enable_NLM = false;
Enable_RQUOTA = false;
Protocols = 4;
}
NFSv4
{
#RecoveryBackend = rados_ng;
Minor_Versions = 1,2;
}
MDCACHE {
Dir_Chunk = 0;
}
EXPORT
{
Export_ID=100;
Protocols = 4;
Transports = TCP;
Path = /;
Pseudo = /emfs;
Access_Type = RW;
Attr_Expiration_Time = 0;
Squash = root_squash;
SecType = sys;
FSAL {
Name = CEPH;
User_Id = "admin";
Secret_Access_Key = "「ceph auth get-key ...
Ceph_Cluster = "ceph";
}
}
CEPH
{
Ceph_Conf = /etc/ceph/ceph.conf;
}
[root@ceph01 ~]# mkdir /var/run/ganesha/ /var/run/ganesha
}}
ここで「systemctl restart nfs-ganesha.service」で動く予定...
代わりに「/usr/bin/ganesha.nfsd -F」では動いた. どこの問...
「/var/log/ganesha/ganesha.log」を見るとプログラムがクラ...
素直にネイティブ接続で繋いだ方がよさげ。しかもネイティブ...
***smb [#kda87601]
nfs同様、他のノードでcephfsをmountしてsmbを稼働させること...
#code(nonumber){{
[root@ceph01 ~]# ceph mgr module enable smb --force
[root@ceph01 ~]# ceph mgr module ls
:
smb on
:
[root@ceph01 ~]#
}}
どうもorchestratorが必要なようで直置きスタイルでは ceph ...
***メモ [#u6c38a8c]
「ceph -s」の実行で「&color(red){Module 'restful' has fai...
#code(nonumber){{
[root@ms ~]# pip3 install pecan cherrypy werkzeug
}}
CentOS8 stream
#code(nonumber){{
rpm -Uvh https://download.ceph.com/rpm-octopus/el8/noarch...
yum install centos-release-openstack-train -y
yum install epel-release snappy gdisk gperftools-libs -y
yum install leveldb -y
yum install ceph -y
}}
#code(nonumber){{
[root@ceph-mgr ~]# ceph -s
cluster:
id: c2d06c20-9197-40b4-a8c4-1a0604936ce8
health: HEALTH_WARN
2 mgr modules have recently crashed
}}
とHEALTH_WARNメッセージがあるなら「ceph crash ls」
#code(nonumber){{
[root@ceph-mgr ~]# ceph crash ls
ID ...
2024-01-04T05:51:12.262993Z_71368c30-4c13-4eaf-bdae-c0d66...
2024-01-04T05:51:14.240766Z_52dbb01e-f34f-46b7-956a-71b2f...
[root@ceph-mgr ~]# ceph crash rm 2024-01-04T05:51:12.2629...
}}
***参照先 [#n3b86970]
[[https://www.cnblogs.com/netant-cg/p/10696205.html>+http...
終了行:
本家様 [[https://ceph.io/>+https://ceph.io/]]
オブジェクトストレージ, ブロックストレージ, ファイルシス...
&size(10){オブジェクトストレージ：Hadoopやamazon S3なすと...
&size(10){開発者たちは今現在IBMにいるそうです};
ここではこのうち Ceph を使ったPOSIX互換ファイルシステム C...
Cephにはバージョン名があって下記の通りになってます &siz...
&size(10){[[https://docs.ceph.com/docs/master/releases/ge...
|BGCOLOR(YELLOW):Release name|BGCOLOR(YELLOW):Initial rel...
|Squid|2024-09-26|19.2.3|2026-09-19(estimated)||
|Reef|2023-08-07|18.2.7|2025-08-01(estimated)|IBM Storage...
|Quincy|2022-04-19|17.2.9|2025-01-13|IBM Storage Ceph 6|
|Pacific|2021-03-31|16.2.15|2024-03-04|IBM Storage Ceph 5...
|Octopus|2020-03-23|15.2.17|2022-08-09|SUSE Enterprise S...
|Nautilus|2019-03-19|14.2.22|2021-06-30| Red Hat Ceph Sto...
|Mimic|2018-06-01|13.2.10|2020-07-22||
|Luminous|2017-08-01|12.2.13|2020-03-01|Red Hat Ceph Stor...
&color(red){*};&size(10){毎年メジャーバージョンアップがあ...
ここでは「Squid」を導入します. 導入方法は docker/podmnan...
cephはmonitor, manager, osd, metadata らと機能を提供する...
っで構成はこんな感じで.
|BGCOLOR(YELLOW):ホスト名|BGCOLOR(YELLOW):役目|BGCOLOR(YE...
|ceph01 |Manager &br;&color(magenta){Monitor}; &br;Metad...
|ceph02 |Manager &br;&color(magenta){Monitor}; &br;Metad...
|ceph-osd1 |&color(magenta){Monitor}; &br; &color(orange...
|ceph-osd2 | &color(orange...
|ceph-osd3 | &color(orange...
***構築に必要なリソースとか [#b419cf5c]
[[Ceph/memo]]
***ceph向けリポジトリの登録 [#v02b10b1]
cephはyum/dnfでインストール可能で関係するすべてのノードに...
&size(10){参照 [[https://docs.ceph.com/en/latest/install/...
#code(nonumber){{
cat << _EOF_ > /etc/yum.repos.d/ceph.repo
[ceph]
name=Ceph packages for \$basearch
baseurl=https://download.ceph.com/rpm-squid/el9/\$basearch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc
[ceph-noarch]
name=Ceph noarch packages
baseurl=https://download.ceph.com/rpm-squid/el9/noarch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc
_EOF_
}}
&size(10){cephリポジトリの中身詳細 [[Ceph/repository]]};
その後に各役目毎に設定作業を行います
***ceph構築 [#n1c8b8b8]
-Ceph Monitor
まず初めにmonitorノードを作り上げます.
ceph01、ceph02 および ceph-osd1 にmonitor機能を載せます.
[[Ceph Monitor>Ceph/Monitor]]
-Ceph Manager
次にManagerノードを作ります. ここではceph01とceph02にその...
[[Ceph Manager>Ceph/Manager]]
-Ceph OSDs
MonitorとManagerが完成したので次にOSDを用意します
ここではceph-osd1、ceph-osd2、ceph-osd3でOSDを用意してます
[[Ceph OSDs>Ceph/OSD]]
-CephFS Metadata Server
ファイルシステムの作成にはこのmetadata serverが必要です.
[[CephFS Metadata Server>Ceph/MDS]]
-CephFS Client
クライアントからcephにアクセスします
[[CephFS Client>Ceph/Client]]
***nfs [#p274aa78]
cephfsをマウントしたceph clientをexportすれば、それでnfs...
cephでは NFS-Ganesha を経由して提供している.
#code(nonumber){{
[root@ceph01 ~]# dnf install centos-release-nfs-ganesha5....
[root@ceph01 ~]# dnf list available --disablerepo=* --ena...
:
nfs-ganesha-ceph.x86_64 ...
:
[root@ceph01 ~]# dnf install libcephfs2 nfs-ganesha n...
}}
既設のnfsサービスを停止します
#code(nonumber){{
[root@ceph01 ~]# systemctl stop nfs-server.service
[root@ceph01 ~]# systemctl disable nfs-server.service
(nfsなのでrpcbindは動かします)
[root@ceph01 ~]# systemctl enable rpcbind --now
}}
設定ファイルは「/etc/ganesha/ganesha.conf」でceph向けのsa...
#code(nonumber){{
[root@ceph01 ~]# mv /etc/ganesha/ganesha.conf /etc/ganesh...
[root@ceph01 ~]# cp /etc/ganesha/ceph.conf /etc/ganesha/g...
[root@ceph01 ~]# vi /etc/ganesha/ganesha.conf
NFS_CORE_PARAM
{
Enable_NLM = false;
Enable_RQUOTA = false;
Protocols = 4;
}
NFSv4
{
#RecoveryBackend = rados_ng;
Minor_Versions = 1,2;
}
MDCACHE {
Dir_Chunk = 0;
}
EXPORT
{
Export_ID=100;
Protocols = 4;
Transports = TCP;
Path = /;
Pseudo = /emfs;
Access_Type = RW;
Attr_Expiration_Time = 0;
Squash = root_squash;
SecType = sys;
FSAL {
Name = CEPH;
User_Id = "admin";
Secret_Access_Key = "「ceph auth get-key ...
Ceph_Cluster = "ceph";
}
}
CEPH
{
Ceph_Conf = /etc/ceph/ceph.conf;
}
[root@ceph01 ~]# mkdir /var/run/ganesha/ /var/run/ganesha
}}
ここで「systemctl restart nfs-ganesha.service」で動く予定...
代わりに「/usr/bin/ganesha.nfsd -F」では動いた. どこの問...
「/var/log/ganesha/ganesha.log」を見るとプログラムがクラ...
素直にネイティブ接続で繋いだ方がよさげ。しかもネイティブ...
***smb [#kda87601]
nfs同様、他のノードでcephfsをmountしてsmbを稼働させること...
#code(nonumber){{
[root@ceph01 ~]# ceph mgr module enable smb --force
[root@ceph01 ~]# ceph mgr module ls
:
smb on
:
[root@ceph01 ~]#
}}
どうもorchestratorが必要なようで直置きスタイルでは ceph ...
***メモ [#u6c38a8c]
「ceph -s」の実行で「&color(red){Module 'restful' has fai...
#code(nonumber){{
[root@ms ~]# pip3 install pecan cherrypy werkzeug
}}
CentOS8 stream
#code(nonumber){{
rpm -Uvh https://download.ceph.com/rpm-octopus/el8/noarch...
yum install centos-release-openstack-train -y
yum install epel-release snappy gdisk gperftools-libs -y
yum install leveldb -y
yum install ceph -y
}}
#code(nonumber){{
[root@ceph-mgr ~]# ceph -s
cluster:
id: c2d06c20-9197-40b4-a8c4-1a0604936ce8
health: HEALTH_WARN
2 mgr modules have recently crashed
}}
とHEALTH_WARNメッセージがあるなら「ceph crash ls」
#code(nonumber){{
[root@ceph-mgr ~]# ceph crash ls
ID ...
2024-01-04T05:51:12.262993Z_71368c30-4c13-4eaf-bdae-c0d66...
2024-01-04T05:51:14.240766Z_52dbb01e-f34f-46b7-956a-71b2f...
[root@ceph-mgr ~]# ceph crash rm 2024-01-04T05:51:12.2629...
}}
***参照先 [#n3b86970]
[[https://www.cnblogs.com/netant-cg/p/10696205.html>+http...
ページ名:
1
![[PukiWiki]](image/picc.png "[PukiWiki]")
