購入する または契約更新する
購入する または契約更新する
キャンセル
提案をオンにする
自動提案では、入力時に可能な一致が提案されるので検索結果を素早く絞り込むことができます。
次の結果を表示 
次の代わりに検索 
もしかして: 
cancel
新しい記事を作成する
1228
閲覧回数
0
いいね！
0
コメント

[CVIM] Ceph OSD Drive 交換手順

Satoshi Kinoshita
Cisco Employee
Cisco Employee

‎2019-07-25 05:17 PM ‎2019-12-27 08:52 PM 更新

 

  1. はじめに
    Cisco VIM (CVIM) 製品には、POD のストレージリソース提供のために、Ceph 分散ストレージシステムが採用されております。本ドキュメントでは Ceph OSD Drive 故障時の交換方法について説明します。

  2. Ceph 健全性確認

    以下のドキュメントを参考に Ceph ヘルスチェックを実行します。
    [CVIM] Ceph ヘルスチェック
    https://community.cisco.com/t5/-/-/ta-p/4004058

  3. Ceph OSD Drive の健全性確認
    Ceph OSD Drive の健全線確認のためには CVIM Management Node に root ユーザーでログインし、ciscovim コマンドを実行します。

    まず、"ciscovim osdmgmt create check-osds" コマンドで健全性確認のコマンドを実施します。

    [root@management ~]# ciscovim osdmgmt create check-osds
    +------------+--------------------------------------+
    | Field      | Value                                |
    +------------+--------------------------------------+
    | action     | check-osds                           |
    | command    | create                               |
    | created_at | 2019-04-03T06:52:10.234602+00:00     |
    | id         | 252d54cf-d399-4ce0-971c-51cd57e7797b |
    | locator    | False                                |
    | osd        | None                                 |
    | result     |                                      |
    | servers    | None                                 |
    | status     | not_run                              |
    | updated_at | None                                 |
    +------------+--------------------------------------+

    このコマンドは完了までしばらく時間がかかります。以下の "ciscovim osdmgmt list check-osds" コマンドで進捗を確認します。Status が Running から Complete になったら実行は完了です。

    [root@management ~]# ciscovim osdmgmt list check-osds
    +--------------------------------------+------------+----------+---------------------------+
    | ID                                   | Action     | Status   | Created                   |
    +--------------------------------------+------------+----------+---------------------------+
    | 252d54cf-d399-4ce0-971c-51cd57e7797b | check-osds | Running |  2019-04-03 06:52:10+00:00 |
    +--------------------------------------+------------+----------+---------------------------+
    [root@management ~]# ciscovim osdmgmt list check-osds
    +--------------------------------------+------------+----------+---------------------------+
    | ID                                   | Action     | Status   | Created                   |
    +--------------------------------------+------------+----------+---------------------------+
    | 252d54cf-d399-4ce0-971c-51cd57e7797b | check-osds | Complete | 2019-04-03 06:52:10+00:00 |
    +--------------------------------------+------------+----------+---------------------------+

    健全性確認の結果を確認するためには、"ciscovim osdmgmt show check-osds --id <ID>" コマンドを実行します。ID については上記コマンドの ID の結果から入手して下さい。

     

    [root@management ~]# ciscovim osdmgmt show check-osds --id 252d54cf-d399-4ce0-971c-51cd57e7797b
+--------------------+--------------------+-----------------------+---------------+-----------------+
| Message            | Host               | Role                  | Server        | State           |
+--------------------+--------------------+-----------------------+---------------+-----------------+
| Overall OSD Status | cpod-osd-compute-2 | block_storage compute | 192.168.11.59 | Optimal         |
|                    | cpod-osd-compute-3 | block_storage compute | 192.168.11.60 | Optimal         |
|                    | cpod-osd-compute-1 | block_storage compute | 192.168.11.58 | Needs Attention |
|                    |                    |                       |               |                 |
| Number of OSDs     | cpod-osd-compute-2 | block_storage compute | 192.168.11.59 | 4               |
|                    | cpod-osd-compute-3 | block_storage compute | 192.168.11.60 | 4               |
|                    | cpod-osd-compute-1 | block_storage compute | 192.168.11.58 | 4               |
+--------------------+--------------------+-----------------------+---------------+-----------------+
+--------------------+--------+--------+----+-----------+-----------+---------------------------+-----------+
| Host               | OSDs   | Status | ID | HDD Slot  | Path      | Mount                     | Journal   |
+--------------------+--------+--------+----+-----------+-----------+---------------------------+-----------+
| cpod-osd-compute-2 | osd.0  | up     | 0  |  6 (JBOD) | /dev/sda1 | /var/lib/ceph/osd/ceph-0  | /dev/sde1 |
|                    | osd.3  | up     | 3  |  5 (JBOD) | /dev/sdb1 | /var/lib/ceph/osd/ceph-3  | /dev/sde2 |
|                    | osd.6  | up     | 6  |  7 (JBOD) | /dev/sdc1 | /var/lib/ceph/osd/ceph-6  | /dev/sde3 |
|                    | osd.9  | up     | 9  |  4 (JBOD) | /dev/sdd1 | /var/lib/ceph/osd/ceph-9  | /dev/sde4 |
|                    |        |        |    |           |           |                           |           |
| cpod-osd-compute-3 | osd.1  | up     | 1  |  7 (JBOD) | /dev/sda1 | /var/lib/ceph/osd/ceph-1  | /dev/sde1 |
|                    | osd.4  | up     | 4  |  6 (JBOD) | /dev/sdb1 | /var/lib/ceph/osd/ceph-4  | /dev/sde2 |
|                    | osd.7  | up     | 7  |  4 (JBOD) | /dev/sdc1 | /var/lib/ceph/osd/ceph-7  | /dev/sde3 |
|                    | osd.10 | up     | 10 |  5 (JBOD) | /dev/sdd1 | /var/lib/ceph/osd/ceph-10 | /dev/sde4 |
|                    |        |        |    |           |           |                           |           |
| cpod-osd-compute-1 | osd.2  | down   | 2  |  7 (JBOD) | /dev/sda1 | /var/lib/ceph/osd/ceph-2  | /dev/sde1 |
|                    | osd.5  | up     | 5  |  6 (JBOD) | /dev/sdb1 | /var/lib/ceph/osd/ceph-5  | /dev/sde2 |
|                    | osd.8  | up     | 8  |  4 (JBOD) | /dev/sdc1 | /var/lib/ceph/osd/ceph-8  | /dev/sde3 |
|                    | osd.11 | up     | 11 |  5 (JBOD) | /dev/sdd1 | /var/lib/ceph/osd/ceph-11 | /dev/sde4 |
+--------------------+--------+--------+----+-----------+-----------+---------------------------+-----------+
    この例では、cpod-osd-cmpute-1 ノードの osd.2 が down しているのがわかります。この OSD ドライブはサーバーのディスクスロット7番となります。

  4. 物理交換の実施
    ハードウェア側の調査でHDD/SSDドライブの故障と判断された場合にはドライブの物理交換を実施します。OSD が Down している状態であればそのOSDへの IO は発行されてませんので、サーバー側でHot Swap に対応していればオンラインでの交換が可能です。

  5. 交換後のドライブをCeph OSD として登録
    新しいHDD/SSDドライブへの交換後、ciscovim コマンドで交換後のドライブを Ceph に組み込みます。
    CVIM Management Node に root ユーザーでログインし、"ciscovim osdmgmt create replace-osd --server <server_hostname> --osd <osd.num>" を実行します。--server オプションの後に交換済みのドライブを搭載しているサーバーのホスト名、--osd にOSDドライブ名を指定します。今回の例では、--server は cpod-osd-compute-1、osd は先の手順で down 状態を確認済みの osd.2 となります。

    [root@management ~]# ciscovim osdmgmt create replace-osd --server cpod-osd-compute-1 --osd osd.2

Perform the action. Continue (Y/N)y
+------------+--------------------------------------+
| Field      | Value                                |
+------------+--------------------------------------+
| action     | replace-osd                          |
| command    | create                               |
| created_at | 2019-04-03T08:37:23.372387+00:00     |
| id         | 6fc08ae0-5162-4b44-9e48-3af431672b7e |
| locator    | False                                |
| osd        | osd.2                                |
| result     |                                      |
| servers    | cpod-osd-compute-1                   |
| status     | not_run                              |
| updated_at | None                                 |
+------------+--------------------------------------+

    このコマンドは完了まで数分かかります。"ciscovim osdmgmt list replace-osd"コマンドを実行し進捗を確認します。

    [root@management ~]# ciscovim osdmgmt list replace-osd
+--------------------------------------+-------------+---------+---------------------------+
| ID                                   | Action      | Status  | Created                   |
+--------------------------------------+-------------+---------+---------------------------+
| 6fc08ae0-5162-4b44-9e48-3af431672b7e | replace-osd | Running | 2019-04-03 08:37:23+00:00 |
+--------------------------------------+-------------+---------+---------------------------+
    [root@management ~]# ciscovim osdmgmt list replace-osd
+--------------------------------------+-------------+----------+---------------------------+
| ID                                   | Action      | Status   | Created                   |
+--------------------------------------+-------------+----------+---------------------------+
| 6fc08ae0-5162-4b44-9e48-3af431672b7e | replace-osd | Complete | 2019-04-03 08:37:23+00:00 |
+--------------------------------------+-------------+----------+---------------------------+
     Status が Running から Complete に変更になったら完了です。

    実行結果については "ciscovim osdmgmt show replace-osd --id <ID>" コマンドを実行します。ID については、上記の実行結果の ID から入手して下さい。

    [root@cvim-cpod-mgmtnode ~]# ciscovim osdmgmt show replace-osd --id 6fc08ae0-5162-4b44-9e48-3af431672b7e
Successfully deleted, removed and replaced OSD osd.2 from server cpod-osd-compute-1
+--------------------+-------------------------------------------+------------+----------+-----------+--------------------------+-----------+
| Host               | New device UUID                           | New OSD.id | HDD Slot | Path      | Mount                    | Journal   |
+--------------------+-------------------------------------------+------------+----------+-----------+--------------------------+-----------+
| cpod-osd-compute-1 | UUID=cf296c20-07fb-4b7d-aca0-0f5df59e7998 | 2          | 7        | /dev/sda1 | /var/lib/ceph/osd/ceph-2 | /dev/sde1 |
+--------------------+-------------------------------------------+------------+----------+-----------+--------------------------+-----------+
    "Successfully deleted, removed and replaced OSD..." と表示されていれば Ceph へのドライブの組み込みは成功しております。

  6. 健全性の確認
    再度 1. の手順を参考に、"ciscovim osdmgmt create check-osds" コマンドを実行し、すべてのOSDが UP しており、Overall OSD Status が Optimal であることを確認して下さい。

    次に Ceph 全体の健全性の確認を行います。

    CVIM Control Node に対して以下のコマンドを実施し、Ceph のステータスが HEALTH_OK であることを確認して下さい。

    [root@mgmtnode ~]# ssh cpod-control-1 cephmon ceph health detail
HEALTH_OK

    なお、交換後のデータのリバランスの動作でしばらくの間 HEALTH_WARN 状態となることがあります。その場合には上記コマンドを何度か実行しステータスが HEALTH_OK になるまで監視して下さい。

    CVIM Control Node のホスト名については、Management Node の /root/openstack-configs/mercury_servers_info ファイルを確認します。

    [root@mgmtnode ~]# grep -A5 "Controller nodes:" /root/installer-17728/openstack-configs/mercury_servers_info
Controller nodes: 3
+----------------+---------------+---------------+---------------+---------------+---------------+---------------+
| Server         | CIMC          | Management    | Provision     | Tenant        | Storage       | Management-v6 |
+----------------+---------------+---------------+---------------+---------------+---------------+---------------+
| cpod-control-1 | 192.168.11.31 | 192.168.11.51 | 192.168.11.51 | 192.168.13.32 | 192.168.12.32 | None          |
|                |               |               |               |               |               |               |

    Control Node は３台ありますが、どのノードで実行しても問題ありません。

ラベル：
0 いいね！
Getting Started

検索バーにキーワード、フレーズ、または質問を入力し、お探しのものを見つけましょう

シスコ コミュニティをいち早く使いこなしていただけるよう役立つリンクをまとめました。みなさんのジャーニーがより良いものとなるようお手伝いします

Customers Also Viewed These Support Documents