[Tetration] Power off 機能が動作しない場合の対策

[Akiyoshi Kawaguchi]

Tetration にはノードをパワーオフする機能があります。

しかし、以下のメッセージが出力されてパワーオフに失敗するという不具合 CSCvp18606 が発生することがあります。

Shutdown validation step failed due to AttributeError("'NoneType' object has no attribute 'lower'",)

この問題が発生した場合は、以下の手順を参照して、対象ノード上のインスタンス（VM）を1つずつシャットダウンしてからベアメタルをシャットダウンしてください。

1. インスタンスの確認

Explorerから以下のコマンドを実行して、対象ノード上で動作しているインスタンスを確認します。

POST  ＜ベアメタルシリアル番号＞  vmlist

例：

2. Master orchestrator の確認

## ステップ1で確認したインスタンスにorchestratorがない場合は、スキップしてステップ4に移ってください。##

以下のコマンドを実行して、どのorchestratorがPingに応答しているか確認してください。応答しているorchestratorがMasterになります。

POST    orchestrator.service.consul    ping?args=orchestrator.service.consul

以下の例では、orchestrator-2がMasterになります。

3. Master orchestratorの変更

### 対象ノード上のorchestratorがMasterではない場合は、このステップ3はスキップしてください。###

以下のコマンドで他のorchestratorが動作していることを確認してください（Xには1, 2, 3などが入ります）。

POST    orchestrator-X    svstatus?args=orchestrator

正常に動作していれば、以下のようにStatus: 200やrun: orchestrator: (pid xxxxx) のような出力があります。

他のorchestratorが正常に動作していることが確認できたら、以下のコマンドを実行します。

POST    ＜Master_orchestrator＞    orch_stop

成功すれば、以下のようにok: downと出力されます。この例だと、Masterはorchestrator-2から別のorchestratorに移ります。

数分程度経過すると、ステップ2と同じ方法でorchestrator.service.consulへpingを送信すると、別のorchestratorが応答するようになります。これでMasterの変更は完了です。

4. インスタンスのシャットダウン

以下の順番でノード上のインスタンスを停止していきます。

1) appServer（存在している場合）
  appServer停止後、Explorerから応答がなくなることがあります。この場合、Tetrationにログインし直してください。

2) namenode, secondaryNamenode, resourceManager, orchestrator 以外のインスタンス
  1つずつ停止します。停止する順番は特に決まっていません。

3) namenode, secondaryNamenode, resourceManager, orchestrator（存在している場合）
  1つずつ停止します。停止する順番は特に決まっていません。

ステップ1の例だと、対象ノード上では以下のインスタンスが動いています。

orchestrator-2

namenode-1
datanode-5
collectorDatamover-5
druidHistoricalBroker-3
redis-3
appServer-2

この場合の停止順は以下の通りです。

1) appServer-2

2) datanode-5, collectorDatamover-5, druidHistoricalBroker-3, redis-3

3) orchestrator-2, namenode-1

インスタンスの停止は、Explorerから以下のコマンドを実行します。

POST    ＜ベアメタルシリアル番号＞    vmshutdown?args=＜インスタンス＞

vmlistで停止したことを確認したら、次のインスタンスを停止していきます。

POST    ＜ベアメタルシリアル番号＞    vmlist

最終的に、全てのインスタンスが停止したことを確認してください。

5. ベアメタルのシャットダウン

Explorerから以下のコマンドを実行して、ベアメタルを停止します。

POST    orchestrator.service.consul    bm_shutdown?args=＜ベアメタルシリアル番号＞

ベアメタルの停止が完了すると、MaintenanceのCluster Stautsから確認できるノードのステータスがInactiveに変わります。

以上でパワーオフの手順は完了となります。