ubuntu/zfs
直前にzfsのテストをしていたので、各ディスクが
root@e:~# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 931.5G 0 disk
tqsda1 8:1 0 931.5G 0 part
mqsda9 8:9 0 8M 0 part
sdb 8:16 0 931.5G 0 disk
tqsdb1 8:17 0 931.5G 0 part
mqsdb9 8:25 0 8M 0 part
:となっていた。これらを更地にした(不要かもしれないが,,)
root@e:~# parted /dev/sda
GNU Parted 3.2
/dev/sdb を使用
GNU Parted へようこそ! コマンド一覧を見るには 'help' と入力してください。
(parted) p
モデル: ATA TOSHIBA MQ01ABD1 (scsi)
ディスク /dev/sda: 1000GB
セクタサイズ (論理/物理): 512B/4096B
パーティションテーブル: gpt
ディスクフラグ:
番号 開始 終了 サイズ ファイルシステム 名前 フラグ
1 1049kB 1000GB 1000GB zfs zfs-40e184d334e11ee8
9 1000GB 1000GB 8389kB
(parted) rm 9
(parted) rm 1
(parted) p
モデル: ATA TOSHIBA MQ01ABD1 (scsi)
ディスク /dev/sda: 1000GB
セクタサイズ (論理/物理): 512B/4096B
パーティションテーブル: gpt
ディスクフラグ:
番号 開始 終了 サイズ ファイルシステム 名前 フラグ
(parted) q
通知: 必要であれば /etc/fstab を更新するのを忘れないようにしてください。
root@e:~#これをエンクロージャの構成HDDの全てに実施した(不要かもしれないが,,)
root@e:~# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 931.5G 0 disk
sdb 8:16 0 931.5G 0 disk
sdc 8:32 0 931.5G 0 disk
sdd 8:48 0 931.5G 0 disk
sde 8:64 0 931.5G 0 disk
sdf 8:80 0 931.5G 0 disk
sdg 8:96 0 931.5G 0 disk
sdh 8:112 0 931.5G 0 disk
:
root@e:~#となった。
root@e:~# mkfs.btrfs -d raid6 -m raid6 -f /dev/sd[abcdefgh]
btrfs-progs v4.4
See http://btrfs.wiki.kernel.org for more information.
Label: (null)
UUID: 3b71e362-f965-4737-84a7-fc3355730aec
Node size: 16384
Sector size: 4096
Filesystem size: 7.28TiB
Block group profiles:
Data: RAID6 6.01GiB
Metadata: RAID6 3.01GiB
System: RAID6 16.00MiB
SSD detected: no
Incompat features: extref, raid56, skinny-metadata
Number of devices: 8
Devices:
ID SIZE PATH
1 931.51GiB /dev/sda
2 931.51GiB /dev/sdb
3 931.51GiB /dev/sdc
4 931.51GiB /dev/sdd
5 931.51GiB /dev/sde
6 931.51GiB /dev/sdf
7 931.51GiB /dev/sdg
8 931.51GiB /dev/sdh
root@e:~#root@e:~# btrfs fi show
Label: none uuid: 3b71e362-f965-4737-84a7-fc3355730aec
Total devices 8 FS bytes used 112.00KiB
devid 1 size 931.51GiB used 1.50GiB path /dev/sda
devid 2 size 931.51GiB used 1.50GiB path /dev/sdb
devid 3 size 931.51GiB used 1.50GiB path /dev/sdc
devid 4 size 931.51GiB used 1.50GiB path /dev/sdd
devid 5 size 931.51GiB used 1.50GiB path /dev/sde
devid 6 size 931.51GiB used 1.50GiB path /dev/sdf
devid 7 size 931.51GiB used 1.50GiB path /dev/sdg
devid 8 size 931.51GiB used 1.50GiB path /dev/sdh
root@e:~#root@e:~# mount -t btrfs /dev/sda /export
root@e:~# df -lTh -t btrfs
Filesystem Type Size Used Avail Use% Mounted on
/dev/sda btrfs 7.3T 19M 7.3T 1% /export
root@e:~#raid6なので 931 * ( 8 - 2 ) = 5586 GiB と思ったのだが、931 * 8 = 7448 GiB で表示された。
root@e:~# ./bonnie++/sbin/bonnie++ -d /export -n 256:1024:1024:16 -u root| Sequential Output | Sequential Input | Random Seeks | Sequential Create | Random Create | |||||||
| Per Char | Block | Rewrite | Per Char | Block | Create | Read | Delete | Create | Read | Delete | |
| 156251(99) | 555853(11) | 240012(11) | 160244(95) | 645543(14) | 553.0(3) | 67904(92) | 303030(93) | 61190(98) | 72410(98) | 300289(99) | 50906(99) |
| 156043(99) | 566910(11) | 245508(11) | 158515(94) | 645056(14) | 517.9(2) | 71471(98) | 325054(100) | 62562(97) | 72143(99) | 288875(99) | 49988(99) |
| 155232(99) | 562046(11) | 248474(11) | 159986(95) | 653467(15) | 546.4(3) | 70777(97) | 326201(100) | 61804(98) | 71986(98) | 299949(99) | 50538(98) |
root@e:~# cd /export/
root@e:/export# dd if=/dev/zero of=./zero1 bs=1G count=10 conv=fsync| bs=1G count=10 conv=fsync | bs=4k count=2621440 conv=fsync | ||||
| 1st | 2nd | 3rd | 1st | 2nd | 3rd |
| 540 MB/s | 550 MB/s | 557 MB/s | 586 MB/s | 562 MB/s | 580 MB/s |
root@e:~# apt-get install fio
root@e:~# git clone https://github.com/buty4649/fio-cdm.git
root@e:~# ./fio-cdm/fio-cdm /export| 1st | 2nd | 3rd | 4th | ||||||||
| Read(MB/s) | Write(MB/s) | Read(MB/s) | Write(MB/s) | Read(MB/s) | Write(MB/s) | Read(MB/s) | Write(MB/s) | ||||
| Seq | 265.629 | 36.628 | Seq | 253.717 | 20.008 | Seq | 276.757 | 15.927 | Seq | 267.363 | 15.966 |
| 512K | 38.043 | 19.697 | 512K | 38.274 | 14.645 | 512K | 38.332 | 11.632 | 512K | 37.819 | 13.189 |
| 4K | 40282.000 | 3.430 | 4K | 40003.000 | 2.217 | 4K | 40321.000 | 1.909 | 4K | 39462.000 | 2.364 |
| 4KQD32 | 4.664 | 6.746 | 4KQD32 | 4.655 | 7.068 | 4KQD32 | 4.659 | 7.189 | 4KQD32 | 4.662 | 6.651 |