Ceph/Troubleshooting をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
Cephも大規模になれば１OSDノード12本 HDDとしても10ノードで...
WD Ultrastar DC HC580 な製品は 最大250万時間 の MTBF を持...
単純にこのHDDを100本で運用していると、
100台 x 24時間 x 365日 --> 876,000時間
MTBFが 250万時間 なので、１時間あたりの故障率は 1/2,500,0...
これに総稼働時間をかけると１年間に予想される故障台数(期待...
λ = 876,000 / 2,500,000 --> 0.3504 台
故障の発生がポアソン分布に従うと仮定すると、1年間に1台も...
「1台以上が壊れる確率」は、全体（100%）から「0台の確率」...
P(X≥1) = 1 -e^-0.3504 = 1 - 0.7044 = 0.2956
100台で運用なら 1年以内に少なくとも1本以上飛ぶ確率は約３割
これが100万時間 MTBF で 100台なら58.4%で１年間運用で「１...
まぁー確率の話です.
っで HDDが飛んだ場合の対処を記すます
(proxmoxで仮想環境でテストしてます)
***HDD対応 [#ac6b6fbb]
事象発生(proxmoxでOSDノードのHDDを選択して detach 操作を...
cephで確認
#code(nonumber){{
[root@ceph-mgr ~]# ceph -s
cluster:
id: 9ce2eb0a-355d-11f1-a713-bc241165abf5
health: HEALTH_WARN
Failed to apply 1 service(s): osd.osd03_custom
1 failed cephadm daemon(s)
Degraded data redundancy: 7/114 objects degra...
(略
[root@ceph-mgr ~]# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGH...
-1 0.29279 root default
-3 0.09760 host ceph-osd01
1 hdd 0.04880 osd.1 up 1.0000...
0 ssd 0.04880 osd.0 up 1.0000...
-7 0.09760 host ceph-osd02
3 hdd 0.04880 osd.3 up 1.0000...
2 ssd 0.04880 osd.2 up 1.0000...
-10 0.09760 host ceph-osd03
5 hdd 0.04880 osd.5 down ...
4 ssd 0.04880 osd.4 up 1.0000...
[root@ceph-mgr ~]#
[root@ceph-mgr ~]# ceph orch ps
NAME HOST PORTS STAT...
:
osd.5 ceph-osd03 erro...
[root@ceph-mgr ~]#
}}
これでosd.5のHDDが問題と分かる.
この状態ではまだCRUSHには残っていて「壊れてるけど、まだク...
#code(nonumber){{
[root@ceph-mgr ~]# ceph osd out 5
osd.5 is already out.
[root@ceph-mgr ~]#
}}
これでデータ再配置（recovery）が始まる.
次にCephから論理削除します
#code(nonumber){{
[root@ceph-mgr ~]# ceph osd purge 5 --yes-i-really-mean-it
purged osd.5
[root@ceph-mgr ~]#
}}
でもコンテナが生きてますので
#code(nonumber){{
[root@ceph-mgr ~]# ceph orch daemon rm osd.5 --force
Removed osd.5 from host 'ceph-osd03'
[root@ceph-mgr ~]#
}}
としてコンテナも削除します. 「ceph orch ps」で確認します
そして、実機 ceph-osd03 で問題のHDDスロットからHDDを抜い...
#code(nonumber){{
[root@ceph-osd03 ~]# lsblk
NAME ...
sda ...
tqsda1 ...
tqsda2 ...
tqsda3 ...
tqsda4 ...
mqsda5 ...
...
sdb ...
mqceph--ed4c4549--46eb--42f0--8059--31ad1b70c4f3-osd--blo...
sdd ...
[root@ceph-osd03 ~]#
}}
となったので、追加したHDDは/dev/sddとなる.
ceph Tentacle 以前はそのノードで「ceph-volume lvm create ...
Tentacle では設計書で行うみたい。
今ある設計書は
#code(nonumber){{
[root@ceph-mgr ~]# ceph orch ls
NAME PORTS RUNNING REFRESHED AGE PLACEM...
crash 7/7 7m ago 2w *
mds.emfs 2/2 27s ago 2w count:...
mgr 2/2 27s ago 2w count:...
mon 3/3 27s ago 2w count:...
node-exporter ?:9100 7/7 7m ago 24h *
osd.osd01_custom 2 7m ago 2w ceph-o...
osd.osd02_custom 2 27s ago 2w ceph-o...
osd.osd03_custom 1 2m ago 2w ceph-o...
[root@ceph-mgr ~]#
[root@ceph-mgr ~]# ceph orch ls --service_name=osd.osd03...
service_type: osd
service_id: osd03_custom
service_name: osd.osd03_custom
placement:
hosts:
- ceph-osd03
spec:
data_devices:
paths:
- /dev/sdb
- /dev/sdc
filter_logic: AND
objectstore: bluestore
[root@ceph-mgr ~]#
}}
と作った「osd03_custom.yml」を修正してcephにapplyします。
#code(nonumber){{
[root@ceph-mgr ~]# cat osd03_custom.yml
service_type: osd
service_id: osd03_custom
service_name: osd.osd03_custom
placement:
hosts:
- ceph-osd03
spec:
data_devices:
paths:
- /dev/sdb
- /dev/sdd
filter_logic: AND
objectstore: bluestore
[root@ceph-mgr ~]# ceph orch apply -i osd03_custom.yml
Scheduled osd.osd03_custom update...
[root@ceph-mgr ~]#
}}
確認します
#code(nonumber){{
[root@ceph-mgr ~]# ceph -s
cluster:
id: 9ce2eb0a-355d-11f1-a713-bc241165abf5
health: HEALTH_OK
:
[root@ceph-mgr ~]#
[root@ceph-mgr ~]# ceph orch ps
NAME HOST PORTS STAT...
:
osd.4 ceph-osd03 runn...
osd.5 ceph-osd03 runn...
[root@ceph-mgr ~]#
}}
と復旧しました。[[Ceph/Prometheus]]も設定していれば「Reso...
&ref(2026y04m29d_170548427.png,nolink,70%); &ref(2026y04m...
***問題のHDDはどこにあるの？物理的に [#l05568e6]
問題とした osd.5 はどこにあるのか
#code(nonumber){{
[root@ceph-mgr ~]# ceph device ls
DEVICE HOST:DE...
:
ATA_Micron_5300_MTFDDAK3T8TDS_XXXXXXXXXXXX ceph-os...
:
ATA_WDC_WUH722020BLE6L4_XXXXXXAE ceph-os...
:
[root@ceph-mgr ~]#
}}
これで交換すべきHDDのシリアル番号とどのノードに存在してい...
ここで大きな問題。シリアル番号、/dev/sdi と分かったところ...
ledctlやlsscsiを駆使すればわかるかなと思ったのですが、む...
地味であるが、事前にこのスロットにはこのシリアルのHDDがあ...
だた、もしMBもしくは追加のHBAでHDDと繋がているなら、そのH...
#code(nonumber){{
[root@ceph-osd03 ~]# lspci
:
01:00.0 Serial Attached SCSI controller: Broadcom / LSI S...
:
[root@ceph-osd03 ~]#
}}
とあれば、Broadcom さんのサイトに行って「sas3ircu」を貰う。
そして
#code(nonumber){{
[root@ceph-osd03 ~]# ./sas3ircu LIST
Avago Technologies SAS3 IR Configuration Utility.
Version 17.00.00.00 (2018.04.02)
Copyright (c) 2009-2018 Avago Technologies. All rights re...
Adapter Vendor Device ...
Index Type ID ID Pci Address ...
----- ------------ ------ ------ ----------------- ...
0 SAS3008 1000h 97h 00h:01h:00h:00h ...
SAS3IRCU: Utility Completed Successfully.
[root@ceph-osd03 ~]#
[root@ceph-osd03 ~]# ./sas3ircu 0 DISPLAY
:
Device is a Hard disk
Enclosure # : 2
Slot # : 6
PI Supported : No
SAS Address : 5003048-0-2bc...
State : Ready (RDY)
Size (in MB)/(in sectors) : 19074047/3906...
Manufacturer : ATA
Model Number : WDC WUH72202...
Firmware Revision : W540
Serial No : XXXXXXAE ...
Unit Serial No(VPD) : XXXXXXAE
GUID : 5000cca41edb2...
Protocol : SATA
Drive Type : SATA_HDD
:
[root@ceph-osd03 ~]#
}}
とスロット番号が6であることがこれでわかる. なので下記でLE...
#code(nonumber){{
[root@ceph-osd03 ~]# ./sas3ircu 0 LOCATE 2:6 ON <--...
(60秒間なら 「./sas3ircu 0 LOCATE 2:6 ON wait 60」)
(消灯)
[root@ceph-osd03 ~]# ./sas3ircu 0 LOCATE 2:6 OFF
}}
ぁーー残念なことにこれはsas-HDDなら使えるみたい..sataは無...
なのでHDD slotにはHDDのシリアルNoをテプラで張る. これが一...
終了行:
Cephも大規模になれば１OSDノード12本 HDDとしても10ノードで...
WD Ultrastar DC HC580 な製品は 最大250万時間 の MTBF を持...
単純にこのHDDを100本で運用していると、
100台 x 24時間 x 365日 --> 876,000時間
MTBFが 250万時間 なので、１時間あたりの故障率は 1/2,500,0...
これに総稼働時間をかけると１年間に予想される故障台数(期待...
λ = 876,000 / 2,500,000 --> 0.3504 台
故障の発生がポアソン分布に従うと仮定すると、1年間に1台も...
「1台以上が壊れる確率」は、全体（100%）から「0台の確率」...
P(X≥1) = 1 -e^-0.3504 = 1 - 0.7044 = 0.2956
100台で運用なら 1年以内に少なくとも1本以上飛ぶ確率は約３割
これが100万時間 MTBF で 100台なら58.4%で１年間運用で「１...
まぁー確率の話です.
っで HDDが飛んだ場合の対処を記すます
(proxmoxで仮想環境でテストしてます)
***HDD対応 [#ac6b6fbb]
事象発生(proxmoxでOSDノードのHDDを選択して detach 操作を...
cephで確認
#code(nonumber){{
[root@ceph-mgr ~]# ceph -s
cluster:
id: 9ce2eb0a-355d-11f1-a713-bc241165abf5
health: HEALTH_WARN
Failed to apply 1 service(s): osd.osd03_custom
1 failed cephadm daemon(s)
Degraded data redundancy: 7/114 objects degra...
(略
[root@ceph-mgr ~]# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGH...
-1 0.29279 root default
-3 0.09760 host ceph-osd01
1 hdd 0.04880 osd.1 up 1.0000...
0 ssd 0.04880 osd.0 up 1.0000...
-7 0.09760 host ceph-osd02
3 hdd 0.04880 osd.3 up 1.0000...
2 ssd 0.04880 osd.2 up 1.0000...
-10 0.09760 host ceph-osd03
5 hdd 0.04880 osd.5 down ...
4 ssd 0.04880 osd.4 up 1.0000...
[root@ceph-mgr ~]#
[root@ceph-mgr ~]# ceph orch ps
NAME HOST PORTS STAT...
:
osd.5 ceph-osd03 erro...
[root@ceph-mgr ~]#
}}
これでosd.5のHDDが問題と分かる.
この状態ではまだCRUSHには残っていて「壊れてるけど、まだク...
#code(nonumber){{
[root@ceph-mgr ~]# ceph osd out 5
osd.5 is already out.
[root@ceph-mgr ~]#
}}
これでデータ再配置（recovery）が始まる.
次にCephから論理削除します
#code(nonumber){{
[root@ceph-mgr ~]# ceph osd purge 5 --yes-i-really-mean-it
purged osd.5
[root@ceph-mgr ~]#
}}
でもコンテナが生きてますので
#code(nonumber){{
[root@ceph-mgr ~]# ceph orch daemon rm osd.5 --force
Removed osd.5 from host 'ceph-osd03'
[root@ceph-mgr ~]#
}}
としてコンテナも削除します. 「ceph orch ps」で確認します
そして、実機 ceph-osd03 で問題のHDDスロットからHDDを抜い...
#code(nonumber){{
[root@ceph-osd03 ~]# lsblk
NAME ...
sda ...
tqsda1 ...
tqsda2 ...
tqsda3 ...
tqsda4 ...
mqsda5 ...
...
sdb ...
mqceph--ed4c4549--46eb--42f0--8059--31ad1b70c4f3-osd--blo...
sdd ...
[root@ceph-osd03 ~]#
}}
となったので、追加したHDDは/dev/sddとなる.
ceph Tentacle 以前はそのノードで「ceph-volume lvm create ...
Tentacle では設計書で行うみたい。
今ある設計書は
#code(nonumber){{
[root@ceph-mgr ~]# ceph orch ls
NAME PORTS RUNNING REFRESHED AGE PLACEM...
crash 7/7 7m ago 2w *
mds.emfs 2/2 27s ago 2w count:...
mgr 2/2 27s ago 2w count:...
mon 3/3 27s ago 2w count:...
node-exporter ?:9100 7/7 7m ago 24h *
osd.osd01_custom 2 7m ago 2w ceph-o...
osd.osd02_custom 2 27s ago 2w ceph-o...
osd.osd03_custom 1 2m ago 2w ceph-o...
[root@ceph-mgr ~]#
[root@ceph-mgr ~]# ceph orch ls --service_name=osd.osd03...
service_type: osd
service_id: osd03_custom
service_name: osd.osd03_custom
placement:
hosts:
- ceph-osd03
spec:
data_devices:
paths:
- /dev/sdb
- /dev/sdc
filter_logic: AND
objectstore: bluestore
[root@ceph-mgr ~]#
}}
と作った「osd03_custom.yml」を修正してcephにapplyします。
#code(nonumber){{
[root@ceph-mgr ~]# cat osd03_custom.yml
service_type: osd
service_id: osd03_custom
service_name: osd.osd03_custom
placement:
hosts:
- ceph-osd03
spec:
data_devices:
paths:
- /dev/sdb
- /dev/sdd
filter_logic: AND
objectstore: bluestore
[root@ceph-mgr ~]# ceph orch apply -i osd03_custom.yml
Scheduled osd.osd03_custom update...
[root@ceph-mgr ~]#
}}
確認します
#code(nonumber){{
[root@ceph-mgr ~]# ceph -s
cluster:
id: 9ce2eb0a-355d-11f1-a713-bc241165abf5
health: HEALTH_OK
:
[root@ceph-mgr ~]#
[root@ceph-mgr ~]# ceph orch ps
NAME HOST PORTS STAT...
:
osd.4 ceph-osd03 runn...
osd.5 ceph-osd03 runn...
[root@ceph-mgr ~]#
}}
と復旧しました。[[Ceph/Prometheus]]も設定していれば「Reso...
&ref(2026y04m29d_170548427.png,nolink,70%); &ref(2026y04m...
***問題のHDDはどこにあるの？物理的に [#l05568e6]
問題とした osd.5 はどこにあるのか
#code(nonumber){{
[root@ceph-mgr ~]# ceph device ls
DEVICE HOST:DE...
:
ATA_Micron_5300_MTFDDAK3T8TDS_XXXXXXXXXXXX ceph-os...
:
ATA_WDC_WUH722020BLE6L4_XXXXXXAE ceph-os...
:
[root@ceph-mgr ~]#
}}
これで交換すべきHDDのシリアル番号とどのノードに存在してい...
ここで大きな問題。シリアル番号、/dev/sdi と分かったところ...
ledctlやlsscsiを駆使すればわかるかなと思ったのですが、む...
地味であるが、事前にこのスロットにはこのシリアルのHDDがあ...
だた、もしMBもしくは追加のHBAでHDDと繋がているなら、そのH...
#code(nonumber){{
[root@ceph-osd03 ~]# lspci
:
01:00.0 Serial Attached SCSI controller: Broadcom / LSI S...
:
[root@ceph-osd03 ~]#
}}
とあれば、Broadcom さんのサイトに行って「sas3ircu」を貰う。
そして
#code(nonumber){{
[root@ceph-osd03 ~]# ./sas3ircu LIST
Avago Technologies SAS3 IR Configuration Utility.
Version 17.00.00.00 (2018.04.02)
Copyright (c) 2009-2018 Avago Technologies. All rights re...
Adapter Vendor Device ...
Index Type ID ID Pci Address ...
----- ------------ ------ ------ ----------------- ...
0 SAS3008 1000h 97h 00h:01h:00h:00h ...
SAS3IRCU: Utility Completed Successfully.
[root@ceph-osd03 ~]#
[root@ceph-osd03 ~]# ./sas3ircu 0 DISPLAY
:
Device is a Hard disk
Enclosure # : 2
Slot # : 6
PI Supported : No
SAS Address : 5003048-0-2bc...
State : Ready (RDY)
Size (in MB)/(in sectors) : 19074047/3906...
Manufacturer : ATA
Model Number : WDC WUH72202...
Firmware Revision : W540
Serial No : XXXXXXAE ...
Unit Serial No(VPD) : XXXXXXAE
GUID : 5000cca41edb2...
Protocol : SATA
Drive Type : SATA_HDD
:
[root@ceph-osd03 ~]#
}}
とスロット番号が6であることがこれでわかる. なので下記でLE...
#code(nonumber){{
[root@ceph-osd03 ~]# ./sas3ircu 0 LOCATE 2:6 ON <--...
(60秒間なら 「./sas3ircu 0 LOCATE 2:6 ON wait 60」)
(消灯)
[root@ceph-osd03 ~]# ./sas3ircu 0 LOCATE 2:6 OFF
}}
ぁーー残念なことにこれはsas-HDDなら使えるみたい..sataは無...
なのでHDD slotにはHDDのシリアルNoをテプラで張る. これが一...
ページ名:
1
![[PukiWiki]](image/picc.png "[PukiWiki]")
