![[PukiWiki]](image/picc.png "[PukiWiki]")
#author("2019-09-11T20:21:28+00:00","default:sysosa","sysosa") #author("2019-09-12T11:41:52+00:00","default:sysosa","sysosa") 雑談というかメモ的なこと 脳内整理のため. 撮影されたイメージデータは 250MB * 2000枚--> 500GB, 1.6GB * 2000枚 --> 3.TB とかになる. このサイズのデータセットが当然複数あって、解析計算により10倍とかに広がる. 当初、slotが沢山あるHDD エンクロージャの12slot使ってRAID6で6TBとか(6TB*(12-2)=60TB)で運用を開始. その後、数か月が経って初回の領域が狭くなった. 次に、残りの12slotで価格が落ち着いた8TBで領域を作成(8TB*(12-2)=80TB). そして数か月後、また領域が狭くなった. 新たなエンクロージャを追加して、保存領域を確保した. この段階になると、初めのエンクロージャのデータにアクセスする方がいなくなった. そこで、初回の60TBのデータをLTOとかに退避させ、空となった60TBをまた再利用するか、あるいは より容量の大きい 8TB で換装するかの選択肢が出てくる. そういったサイクルを繰り返せば、ストレージは大丈夫かなと思っていた(金が続けばだけど) っが、撮影速度の高速化、ユーザ数の増大でサイクルスケジュールに異変が生じた. これも一応、金で解決できる問題である. しかしそれ以上に問題なのは同じプロジェクトデータが複数のRAID領域に散在するようになった. ストレージ領域の思考から、プロジェクト単位としての領域を考慮する必要が生じた. ***Software-Defined Storage [#q8bb14e8] windows10でいうところの「記憶域」 複数のHDDをまとめて、目的のサイズの仮想的なHDDを作り出す. その際、この「記憶域」にSSDで作られた領域(SSD Tier)とHDDで作られた領域(HDD Tier)を使えば 新しいファイルはSSD領域、使わなくなったファイルはHDD領域へ自動で配置転換する機能がある(記憶域階層) また、重複排除の機能もありブロックベースで同じ重複を排除する(Deduplication)事も可能 切り出した領域に収められるファイルは常に圧縮を掛けさせて領域を拡張する(透過的圧縮) windowsでは可能. Linuxでは zfs(L2ARCをSSDにしたら階層...って微妙だけど)なら複数のHDDをまとめ(pool)て、そこから領域の切り出しは可能 そのpoolに後からHDDを追加して、切り出した領域を増やすことも可能. 最近リリースされたzfs on linux v0.8でpoolの構成員を削除する機能が追加された. これで古いpool構成員を削除して、より容量の多い構成員を追加できる. 前段の「サイクル」が可能 これならプロジェクト指向に対処可能かな？ &ref(2019y09m12d_204006351.png,nolink,noborder); もっとも1909時点 CentOS7 でこの最新zfsがパッケージとしてリリースされていない。CentOS7.7からパッケージが用意される見通し. コンパイルして使えばいいのだけどね。 ***高速化 [#h1faef92] ストレージサーバを複数まとめて上記のように領域の切り出しを行えるのに BeeGFS がある。 現状、種類の違う記憶域(SSD or HDD)は作れるが、それを記憶域階層として扱えるかは？ windowsの世界では記憶域スペースダイレクトでできるみたい。 ただ、windows server Datacenter版でないと使えない. そして最低2台必要. なのでライセンスだけで120万
