Cisco Crosswork はストレージとして分散ストレージのGlusterfsを使用しております。このドキュメントは Glusterfs の正常性確認方法いついて説明します。
glusterd デーモンの確認
systemctl status glusterd コマンドで glusterd サービスが正常に起動していることを確認します。Active: active (running) となっているのが正常な状態です。このコマンドは3台のHybridノード全てで実行して下さい。
root@192-168-200-101-hybrid:~# systemctl status glusterd
* glusterd.service - GlusterFS, a clustered file-system server
Loaded: loaded (/lib/systemd/system/glusterd.service; enabled; vendor preset: enabled)
Active: active (running) since Mon 2021-12-27 11:56:52 UTC; 2 weeks 2 days ago
Docs: man:glusterd(8)
Main PID: 1019 (glusterd)
Tasks: 362 (limit: 56402)
Memory: 10.8G
CGroup: /system.slice/glusterd.service
|- 1019 /usr/sbin/glusterd -p /var/run/glusterd.pid --log-level INFO
|- 16189 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id glustervol1.192.168.200.101.mnt-cw_glusterfs-bricks-brick1 -p /var/r>
|- 16276 /usr/sbin/glusterfs -s localhost --volfile-id shd/glustervol1 -p /var/run/gluster/shd/glustervol1/glustervol1-shd.pid -l >
|- 16623 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id glustervol2.192.168.200.101.mnt-cw_glusterfs-bricks-brick2 -p /var/r>
|- 16913 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id glustervol3.192.168.200.101.mnt-cw_glusterfs-bricks-brick3 -p /var/r>
|- 17746 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id cw_dregfs.192.168.200.101.mnt-cw_dregfs-bricks-brick1 -p /var/run/gl>
|- 80574 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id rstopovs.192.168.200.101.mnt-cw_glusterfs-bricks-rstopovs -p /var/ru>
|- 85999 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id rsinfra.192.168.200.101.mnt-cw_glusterfs-bricks-rsinfra -p /var/run/>
|- 90712 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id rssnmpmp.192.168.200.101.mnt-cw_glusterfs-bricks-rssnmpmp -p /var/ru>
|- 97346 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id rsclctr.192.168.200.101.mnt-cw_glusterfs-bricks-rsclctr -p /var/run/>
|- 119379 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id rscdgui.192.168.200.101.mnt-cw_glusterfs-bricks-rscdgui -p /var/run/>
|- 159102 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id rsmibsyg.192.168.200.101.mnt-cw_glusterfs-bricks-rsmibsyg -p /var/ru>
|- 200950 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id rsclidp.192.168.200.101.mnt-cw_glusterfs-bricks-rsclidp -p /var/run/>
|- 220942 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id rscmmndf.192.168.200.101.mnt-cw_glusterfs-bricks-rscmmndf -p /var/ru>
|- 239098 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id rsxftp.192.168.200.101.mnt-cw_glusterfs-bricks-rsxftp -p /var/run/gl>
|- 324445 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id rsshtch.192.168.200.101.mnt-cw_glusterfs-bricks-rsshtch -p /var/run/>
`-1619100 /usr/sbin/glusterfsd -s 192.168.200.101 --volfile-id rscatfp.192.168.200.101.mnt-cw_glusterfs-bricks-rscatfp -p /var/run/>
Peer statusの確認
3台それぞれのノードで gluster peer status コマンドを実行し、お互いのノードへの peer の関係を確認して下さい。1台から見て2台のノードへの State が Connected となっているのが正常な状態です。
root@192-168-200-101-hybrid:~# gluster peer status
Number of Peers: 2
Hostname: 192.168.200.102
Uuid: a8c1d52a-ea08-440a-b096-33abb4175596
State: Peer in Cluster (Connected)
Hostname: 192.168.200.103
Uuid: 1f2bb658-9e1d-41b6-85b0-379c39f6fc4e
State: Peer in Cluster (Connected)
Volume ステータスの確認
gluster vol info コマンドでそれぞれの volume のステータスを確認します。Status: Started となっているのが正常な状態です。
root@192-168-200-101-hybrid:~# gluster vol info glustervol2
Volume Name: glustervol2
Type: Replicate
Volume ID: 3f622f63-9d01-485f-8be5-1047299e09dd
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 3 = 3
Transport-type: tcp
Bricks:
Brick1: 192.168.200.101:/mnt/cw_glusterfs/bricks/brick2
Brick2: 192.168.200.102:/mnt/cw_glusterfs/bricks/brick2
Brick3: 192.168.200.103:/mnt/cw_glusterfs/bricks/brick2
Options Reconfigured:
performance.parallel-readdir: on
cluster.self-heal-daemon: enable
performance.nl-cache-positive-entry: on
network.inode-lru-limit: 200000
performance.md-cache-timeout: 600
performance.cache-invalidation: on
performance.stat-prefetch: on
features.cache-invalidation-timeout: 600
features.cache-invalidation: on
auth.allow: 192.168.200.101,192.168.200.102,192.168.200.103
cluster.granular-entry-heal: enable
storage.fips-mode-rchecksum: on
transport.address-family: inet
nfs.disable: on
performance.client-io-threads: off
