EM/storage をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
雑談というかメモ的なこと
脳内整理のため.
撮影されたイメージデータは 250MB * 2000枚--> 500GB, 1.6GB...
このサイズのデータセットが当然複数あって、解析計算により1...
当初、slotが沢山あるHDD エンクロージャの12slot使ってRAID6...
その後、数か月が経って初回の領域が狭くなった.
次に、残りの12slotで価格が落ち着いた8TBで領域を作成(8TB*(...
そして数か月後、また領域が狭くなった.
新たなエンクロージャを追加して、保存領域を確保した.
この段階になると、初めのエンクロージャのデータにアクセス...
そこで、初回の60TBのデータをLTOとかに退避させ、空となった...
より容量の大きい 8TB で換装するかの選択肢が出てくる.
そういったサイクルを繰り返せば、ストレージは大丈夫かなと...
っが、撮影速度の高速化、ユーザ数の増大でサイクルスケジュ...
これも一応、金で解決できる問題である.
しかしそれ以上に問題なのは同じプロジェクトデータが複数のR...
ストレージ領域の思考から、プロジェクト単位としての領域を...
***Software-Defined Storage [#q8bb14e8]
windows10でいうところの「記憶域」
複数のHDDをまとめて、目的のサイズの仮想的なHDDを作り出す.
その際、この「記憶域」にSSDで作られた領域(SSD Tier)とHDD...
新しいファイルはSSD領域、使わなくなったファイルはHDD領域...
また、重複排除の機能もありブロックベースで同じ重複を排除...
切り出した領域に収められるファイルは常に圧縮を掛けさせて...
windowsでは可能.
Linuxでは zfs(L2ARCをSSDにしたら階層...って微妙だけど)な...
そのpoolに後からHDDを追加して、切り出した領域を増やすこと...
最近リリースされたzfs on linux v0.8でpoolの構成員を削除す...
これで古いpool構成員を削除して、より容量の多い構成員を追...
これならプロジェクト指向に対処可能かな？
&ref(2019y09m12d_204006351.png,nolink,noborder);
もっとも1909時点 CentOS7 でこの最新zfsがパッケージとして...
コンパイルして使えばいいのだけどね。
***高速化 [#h1faef92]
ストレージサーバを複数まとめて上記のように領域の切り出し...
BeeGFS
がある。
現状、種類の違う記憶域(SSD or HDD)は作れるが、それを記憶...
windowsの世界では記憶域スペースダイレクトでできるみたい。
ただ、windows server Datacenter版でないと使えない. そして...
終了行:
雑談というかメモ的なこと
脳内整理のため.
撮影されたイメージデータは 250MB * 2000枚--> 500GB, 1.6GB...
このサイズのデータセットが当然複数あって、解析計算により1...
当初、slotが沢山あるHDD エンクロージャの12slot使ってRAID6...
その後、数か月が経って初回の領域が狭くなった.
次に、残りの12slotで価格が落ち着いた8TBで領域を作成(8TB*(...
そして数か月後、また領域が狭くなった.
新たなエンクロージャを追加して、保存領域を確保した.
この段階になると、初めのエンクロージャのデータにアクセス...
そこで、初回の60TBのデータをLTOとかに退避させ、空となった...
より容量の大きい 8TB で換装するかの選択肢が出てくる.
そういったサイクルを繰り返せば、ストレージは大丈夫かなと...
っが、撮影速度の高速化、ユーザ数の増大でサイクルスケジュ...
これも一応、金で解決できる問題である.
しかしそれ以上に問題なのは同じプロジェクトデータが複数のR...
ストレージ領域の思考から、プロジェクト単位としての領域を...
***Software-Defined Storage [#q8bb14e8]
windows10でいうところの「記憶域」
複数のHDDをまとめて、目的のサイズの仮想的なHDDを作り出す.
その際、この「記憶域」にSSDで作られた領域(SSD Tier)とHDD...
新しいファイルはSSD領域、使わなくなったファイルはHDD領域...
また、重複排除の機能もありブロックベースで同じ重複を排除...
切り出した領域に収められるファイルは常に圧縮を掛けさせて...
windowsでは可能.
Linuxでは zfs(L2ARCをSSDにしたら階層...って微妙だけど)な...
そのpoolに後からHDDを追加して、切り出した領域を増やすこと...
最近リリースされたzfs on linux v0.8でpoolの構成員を削除す...
これで古いpool構成員を削除して、より容量の多い構成員を追...
これならプロジェクト指向に対処可能かな？
&ref(2019y09m12d_204006351.png,nolink,noborder);
もっとも1909時点 CentOS7 でこの最新zfsがパッケージとして...
コンパイルして使えばいいのだけどね。
***高速化 [#h1faef92]
ストレージサーバを複数まとめて上記のように領域の切り出し...
BeeGFS
がある。
現状、種類の違う記憶域(SSD or HDD)は作れるが、それを記憶...
windowsの世界では記憶域スペースダイレクトでできるみたい。
ただ、windows server Datacenter版でないと使えない. そして...
ページ名:
1
![[PukiWiki]](image/picc.png "[PukiWiki]")
