※WADAXで専用サーバを契約した場合の例 DELLサーバの場合、omreportがインストールされていればRAIDの状態を確認できる DELLサーバのハードウェア状態をコマンドにより取得 (omreport) | Skyarch Broadcasting https://www.skyarch.net/blog/?p=1388 WADAXでは ・omreportコマンドを実行することによってRAIDの状態を確認する ・異常があればWADAXに問い合わせる ・そこで初めてWADAXが調査を行う という監視方法らしい つまり、監視が有効でも異常を放置しておくとダメらしい $ omreport storage vdisk $ omreport storage pdisk controller=0 このようなコマンドで確認できる コマンドが見つからなければ、以下のようにパスの直接指定を試す それでも駄目なら、コマンドがインストールされているかどうかも含めて確認する $ /opt/dell/srvadmin/bin/omreport storage vdisk $ /opt/dell/srvadmin/bin/omreport storage pdisk controller=0 ■上のコマンドの実行結果（通常時に実行したもの） $ omreport storage vdisk … 仮想ディスクのステータス確認 List of Virtual Disks in the System Controller SAS 6/iR Integrated (Embedded) ID : 0 Status : Ok … 通常状態 Name : Virtual Disk 0 State : Ready … 通常状態 HotSpare Policy violated : Not Assigned Virtual Disk Bad Blocks : Not Applicable Secured : Not Applicable Progress : Not Applicable Layout : RAID-1 Size : 931.00 GB (999653638144 bytes) Device Name : /dev/sda Bus Protocol : SAS Media : HDD Read Policy : Not Applicable Write Policy : Not Applicable Cache Policy : Not Applicable Stripe Element Size : Not Applicable Disk Cache Policy : Disabled $ omreport storage pdisk controller=0 … 物理ディスクのステータス確認 List of Physical Disks on Controller SAS 6/iR Integrated (Embedded) Controller SAS 6/iR Integrated (Embedded) ID : 0:0:0 Status : Ok Name : Physical Disk 0:0:0 State : Online Failure Predicted : No Certified : Not Applicable Encryption Capable : No Secured : Not Applicable Progress : Not Applicable Bus Protocol : SAS Media : HDD Capacity : 931.00 GB (999653638144 bytes) Used RAID Disk Space : 931.00 GB (999653638144 bytes) Available RAID Disk Space : 0.00 GB (0 bytes) Hot Spare : No Vendor ID : DELL(tm) Product ID : ST31000424SS Revision : KS68 Serial No. : 9WK1QBT7 Part Number : TH0U738K212330AU003DA02 Negotiated Speed : 3.00 Gbps Capable Speed : 3.00 Gbps Manufacture Day : 02 Manufacture Week : 46 Manufacture Year : 2010 SAS Address : 5000C50025A5FC0D ID : 0:0:1 Status : Ok … 問題は発生していない Name : Physical Disk 0:0:1 State : Online … 通常状態 Failure Predicted : No Certified : Not Applicable Encryption Capable : No Secured : Not Applicable Progress : Not Applicable … 通常状態 Bus Protocol : SAS Media : HDD Capacity : 931.00 GB (999653638144 bytes) Used RAID Disk Space : 931.00 GB (999653638144 bytes) Available RAID Disk Space : 0.00 GB (0 bytes) Hot Spare : No Vendor ID : DELL(tm) Product ID : ST31000424SS Revision : KS68 Serial No. : 9WK2EPRG Part Number : TH0U738K212330B9001GA02 Negotiated Speed : 3.00 Gbps Capable Speed : 3.00 Gbps Manufacture Day : 05 Manufacture Week : 46 Manufacture Year : 2010 SAS Address : 5000C50025B0A515 ■上のコマンドの実行結果（問題発生時に実行したもの） # omreport storage vdisk … 仮想ディスクのステータス確認 List of Virtual Disks in the System Controller SAS 6/iR Integrated (Embedded) ID : 0 Status : Non-Critical … 致命的ではないが警告が発生している Name : Virtual Disk 0 State : Degraded … 縮退動作 HotSpare Policy violated : Not Assigned Virtual Disk Bad Blocks : Not Applicable Secured : Not Applicable Progress : Not Applicable Layout : RAID-1 Size : 931.00 GB (999653638144 bytes) Device Name : /dev/sda Bus Protocol : SAS Media : HDD Read Policy : Not Applicable Write Policy : Not Applicable Cache Policy : Not Applicable Stripe Element Size : Not Applicable Disk Cache Policy : Disabled # omreport storage pdisk controller=0 … 物理ディスクのステータス確認 List of Physical Disks on Controller SAS 6/iR Integrated (Embedded) Controller SAS 6/iR Integrated (Embedded) ID : 0:0:0 Status : Critical … 問題が発生している Name : Physical Disk 0:0:0 State : Failed … オンラインでは無い Failure Predicted : No Certified : Not Applicable Encryption Capable : No Secured : Not Applicable Progress : Not Applicable Bus Protocol : SAS Media : HDD Capacity : 931.00 GB (999653638144 bytes) Used RAID Disk Space : 931.00 GB (999653638144 bytes) Available RAID Disk Space : 0.00 GB (0 bytes) Hot Spare : No Vendor ID : DELL(tm) Product ID : ST31000424SS Revision : KS68 Serial No. : 9WK1QBT7 Part Number : TH0U738K212330AU003DA02 Negotiated Speed : 3.00 Gbps Capable Speed : 3.00 Gbps Manufacture Day : 02 Manufacture Week : 46 Manufacture Year : 2010 SAS Address : 5000C50025A5FC0D ID : 0:0:1 Status : Ok … 問題は発生していない Name : Physical Disk 0:0:1 State : Online … オンライン Failure Predicted : No Certified : Not Applicable Encryption Capable : No Secured : Not Applicable Progress : Not Applicable Bus Protocol : SAS Media : HDD Capacity : 931.00 GB (999653638144 bytes) Used RAID Disk Space : 931.00 GB (999653638144 bytes) Available RAID Disk Space : 0.00 GB (0 bytes) Hot Spare : No Vendor ID : DELL(tm) Product ID : ST31000424SS Revision : KS68 Serial No. : 9WK2EPRG Part Number : TH0U738K212330B9001GA02 Negotiated Speed : 3.00 Gbps Capable Speed : 3.00 Gbps Manufacture Day : 05 Manufacture Week : 46 Manufacture Year : 2010 SAS Address : 5000C50025B0A515 # omreport storage vdisk | grep State State : Degraded # omreport storage pdisk controller=0 | grep State State : Failed State : Online ■異常が発生したときの対応（上とは別の事例） 突然片方のHDDにアクセスできない状態になったためWADAXに電話で問い合わせた （omreportを定期的に実行して、異常があればメール通知する仕組みをあらかじめ設けていた） https://www.wadax.ne.jp/support/ その後、4時間ほどでWADAXから以下のストレージ交換完了のメールが来た 電話では「状況をお知らせください」と伝えていたが、事前連絡なしで交換完了の連絡が来たので注意 その後Raidがリビルド状態になった （リビルドの時間は、サーバの性能やHDD容量によって左右される） ■上のコマンドの実行結果（上とは別の事例 / 問題発生時に実行したもの） ※突然リビルド中になったためWADAXに電話で問い合わせた https://www.wadax.ne.jp/support/ が、WADAX側でも詳細不明とのこと 何らかの理由で一時的にRAIDでエラーが発生し、即時RAID再構築が行われている状況だったらしい メーカーへ確認しても詳細な回答が得られなかったらしい 対応としては経過観察。ハード機器に不備があれば技術担当者へアラームが通知され、改めて対応してくれるとのこと ※リビルドは通常、HDDを交換した場合などに発生するもの DELL の OMSA で ディスク が Status Non-Critical と報告される - bayanの<del>電波</del>日記 http://d.hatena.ne.jp/bayan/20170427/p2 $ omreport storage vdisk … 仮想ディスクのステータス確認 List of Virtual Disks in the System Controller SAS 6/iR Integrated (Embedded) ID : 0 Status : Non-Critical … 致命的ではないが警告が発生している Name : Virtual Disk 0 State : Degraded … 縮退動作 HotSpare Policy violated : Not Assigned Virtual Disk Bad Blocks : Not Applicable Secured : Not Applicable Progress : Not Applicable Layout : RAID-1 Size : 931.00 GB (999653638144 bytes) Device Name : /dev/sda Bus Protocol : SAS Media : HDD Read Policy : Not Applicable Write Policy : Not Applicable Cache Policy : Not Applicable Stripe Element Size : Not Applicable Disk Cache Policy : Disabled $ omreport storage pdisk controller=0 … 物理ディスクのステータス確認 List of Physical Disks on Controller SAS 6/iR Integrated (Embedded) Controller SAS 6/iR Integrated (Embedded) ID : 0:0:0 Status : Ok Name : Physical Disk 0:0:0 State : Online Failure Predicted : No Certified : Not Applicable Encryption Capable : No Secured : Not Applicable Progress : Not Applicable Bus Protocol : SAS Media : HDD Capacity : 931.00 GB (999653638144 bytes) Used RAID Disk Space : 931.00 GB (999653638144 bytes) Available RAID Disk Space : 0.00 GB (0 bytes) Hot Spare : No Vendor ID : DELL(tm) Product ID : ST31000424SS Revision : KS68 Serial No. : 9WK1QBT7 Part Number : TH0U738K212330AU003DA02 Negotiated Speed : 3.00 Gbps Capable Speed : 3.00 Gbps Manufacture Day : 02 Manufacture Week : 46 Manufacture Year : 2010 SAS Address : 5000C50025A5FC0D ID : 0:0:1 Status : Ok … 問題は発生していない Name : Physical Disk 0:0:1 State : Rebuilding … リビルド中になっている Failure Predicted : No Certified : Not Applicable Encryption Capable : No Secured : Not Applicable Progress : 9% complete … リビルドは9%完了している Bus Protocol : SAS Media : HDD Capacity : 931.00 GB (999653638144 bytes) Used RAID Disk Space : 931.00 GB (999653638144 bytes) Available RAID Disk Space : 0.00 GB (0 bytes) Hot Spare : No Vendor ID : DELL(tm) Product ID : ST31000424SS Revision : KS68 Serial No. : 9WK2EPRG Part Number : TH0U738K212330B9001GA02 Negotiated Speed : 3.00 Gbps Capable Speed : 3.00 Gbps Manufacture Day : 05 Manufacture Week : 46 Manufacture Year : 2010 SAS Address : 5000C50025B0A515