treedown’s Report

システム管理者に巻き起こる様々な事象を読者の貴方へ報告するブログです。会社でも家庭でも"システム"に携わるすべての方の共感を目指しています。

※https化しました。その影響でしばらくリンク切れなどがあるかもしれませんが徐々に修正していきます。 リンク切れなどのお気づきの点がございましたらコメントなどでご指摘いただけますと助かります。

RAID10の外付けHDDが故障したので交換して対処

前回<RAID1の外付けHDDが故障して諦める - treedown’s Report>とは別で、sambaファイルサーバ用に使用していたRAID10のHDDに問題が発生したので対処をご報告です。
そのディスクは、以前にもエラーが発生していたディスクでした。今回は諦めない。

対象のドライブ

このディスクは、以前に

rsyncでエラー「failed: Structure needs cleaning (117)」が出ていることに気づく - treedown’s Report

にてエラーが発生しており、fsckで修復⇒正常動作に復帰、という動きをしていました。
それからちょうど半年、今回は完全にハードウェアの故障のようです。
前回の「failed: Structure needs cleaning (117)」がHDD故障の予兆だったのかもしれません。

構成などは前回の記事を参照。

HDDケースは、

Debian10 busterのsambaバージョン4.9.5-DebianにUSB接続されたHDD(LHR-4BRHEFU3)が対象です。

エラーの状態

ディスクがOSから見えない状態になっており、マウント解除されている状態。

syslogに異常が記録されていました。

ログを確認してみます。
「usb 3-2: USB disconnect, device number 2」
にて、デバイス番号2のUSBが切断された、という記録があります。(ちなみにUSB接続は1台だけなので故障機器はすぐに判断できました。)

ログはさらに、詳細な記述が続きます。
このエラーはcronでスケジュールしたrsync実行時に発生しているので、ログの記述にrsyncの記載があります。

EXT4-fs warning (device sdc): htree_dirblock_to_tree:000: inode #000000000: lblock 0: comm rsync: error -5 reading directory block
EXT4-fs error (device sdc): ext4_find_entry:0000: inode #00000000: comm rsync: reading directory lblock 0

ディレクトリブロックの読み取りエラーが記録されています。ここで「device sdc」の記載があるので、エラー対象のハードディスクがどれかを特定できます。rsyncで読み書きするタイミングで、実際に読み書きする対象のディスクのブロックがエラーで参照出来ない、という内容のエラーです。

一通り読み取りに失敗したところで、

EXT4-fs (sdc): previous I/O error to superblock detected

「スーパーブロックへの I/O エラーが検出されました」のエラー表記、この他

systemd[1]: Stopped target Local File Systems.

「ターゲットのローカル ファイル システムを停止しました。」というエラー表記がきろくされていました。
これ以降に、「systemd[1]: Unmounting %fstabで指定のマウント先%」とか「umount[0000]: umount: %fstabで指定のマウント先%: target is busy.」といったボリュームが認識できないエラーが発生していました。

新しいHDDを購入して交換

故障したHDDのsambaサーバが正系&副系の冗長構成のうち副系だったことと、これに加えて故障したUSB接続のHDDが導入後24H/265Dでかなりの年数稼働をしており、筐体の故障というケースも可能性としてあることから、新しいHDDを購入して交換することで対処とすることにしました。

HDD購入⇒リビルド⇒実は他の箇所が故障⇒再度購入、という都度都度対処が難しいsambaサーバという側面もあります。また、他のsambaサーバでHDD故障だと思ったら筐体の故障というケースで対処に時間を要してしまった(ダウンタイムが長かった)という経験からも、ここは確実に復旧したいところでした。

用意したHDDケース&HDD

こうして同一筐体を購入、HDDも同じ容量のWD Redの2TBを四台用意しました。

RAID対応のHDDケースも同一のもの(LHR-4BRHEFU3)がまだ販売していたので、同じものを入手することができました。さっそくHDDをマウントしていきます。

まずは、マウント用の金具(といってもプラ製)をネジ留めして取り付けて、

HDDをそれぞれスロットにマウントしていきます。

分かりやすいようにテプラでHDD番号を目印に貼り付けておきました。

四台のHDDを搭載し終わったところで、

内蓋を閉めて、HDDの搭載完了です。

このままの状態では(セットアップ前なので)四台のHDDが独立して(個別に)シングルモードで認識しています。
ひとまず、この状態で一台づつディスクチェックを実行して、初期不良がないことを確認しました。
(大容量HDDなのでチェックには時間が掛かりますが、辛抱強く待ちます。)

セットアップは続く…

ひとまずこのディスクチェックで作業は中断、実際の交換作業は初期セットアップ後に、後日実施します。

blog.treedown.net

次回で復旧します。