TS-251D 不調・・・そして回復へ
TS-251Dが絶不調に・・・治るのか？
今の状態を確認
QNAPのTS-251Dを使用していることはブログにも書いているとおりですが、こちらがここ一週間ほど不調。根本的なところとしては、
といわれ、ストレージプール1がマウントできない点。案内に従い、ストレージ&スナップショットに進んでみます。
さらには、QTSのUI自体は「アプリケーションを起動しています」がいつまでも表示されていて、起動が完了していない模様。ナゾデスネ。
原因を考察
a. ストレージ&スナップショットの画面が言っているとおり、領域が不足？実ファイル以外の部分で領域不足になるとしたら、スナップショットデータでしょうか？b. QTS最新版のバグ？ 正確にいつからこの状態かわからないので何とも言えませんが、7/26リリースバージョンが適用されています。感覚的にはこの日付と不調の開始は一致しますね。
トライ！
まずはスナップショットを削除してみる
まずはスナップショットをきれいさっぱり削除してみます。
削除してみたものの、スナップショットを削除したのちにシステムを(強制)制起動してみましたが改善せず。
すべて削除したのち、下記のようなメッセージが表示されます。
「領域の再利用」ってなんだろと進んでみましたが、
Linuxシステムレベルでの確認
さて、ではLinuxのレイヤーで実際の使用量がどうなっているのか？を確認してみます。SSHでアクセスして確認。
CACHEDEV1_DATAですね。これはやはり使用率が48%。UI上の表示とほぼ一致します。
ReadOnlyになってしまっているかテスト。
/proc/mountsでどんなマウントオプションでマウントされているか確認してみます。
さてはて・・・どこからReadOnlyが来るのでしょうか？
寄り道かもしれませんが、LVMのステータスを確認してみます。
ひとまずいえるのは、snapshootによってデータ領域圧迫していることが分かった。というところでしょうか。UI上で削除したものが残ってるっぽいので、snapshot周りでバグがあるのかもしれません。
1個前のバージョンに戻してみる
最新版でsnapshot周りにバグがありそうかな？と推測し、とりあえず1個前のバージョンに戻してみます。
ということで、戻してみました。
いずれにしても、snapshotがデータ領域を圧迫していることが原因のようで、シックボリュームから、シンボリュームへ変更する場合にも、Snapshotが削除されるようです。
では、この流れの中でSnapshotが削除され、状態改善されることを期待してボリュームを変更してみます。
結果、ちゃんとボリュームがマウントされる正常な状態に戻りました。
原因は・・・？
ひとまず回復したので、原因を考えてみたいと思います。
今回の症状の直接的な原因は、切り分け結果から「Snapshotでデータ領域が圧迫されてしまっていた。」で間違いないと思います。
ではなぜSnapshotがいっぱいになってしまったか？
私怪しいと思ってるアプリが一つあるんですよね。その名もDA Analyzer。
このアプリはドライブへの書込み速度、読み込み速度からドライブステータスを判断するようなんですが、こいつはいったいどこにデータを書いているのかな？と実ファイルなのか実デバイスなのかわからないですが、こいつが書込みを行った結果、その部分がSnapshotを取るときに差分として認識される。その結果、じゃかじゃかSnapshotが大きくなっていった。というロジックではないか？と思います。
なので、この後ボリュームをもとのシックボリュームに戻して、FWを最新版に戻して、スナップショットを定期取得する設定にして、様子を見てみたいと思います。
こういうトラブルも、業務じゃなければ面白いね。
コメント
コメントを投稿