アーキテクチャ

なんでOCFS2？

• 順序付けされたWrite-Backデータジャーナルログにより、電源障害やシステムクラッシュなどの障害時にファイルシステムの整合性を保護
• 512 byteから4KBまでのブロックサイズに対応し、ファイルシステムのクラスターサイズは4KBから1MBに対応。クラスターサイズが4KBのときにサポートされる最大ボリュームサイズは16TB。クラスターサイズが1MBのときには理論上はボリュームサイズは4PBが可能ですが、テストされていません。
• 非常に大きなファイルの効率的な格納のためのExtent-basedアロケーション
• 疎なファイル、インラインデータ、未書き込み領域、ホールパンチング、reflink、アロケーション予約といった高性能、高効率なストレージのためのアロケーション最適化のサポート
• 非常に多数のオブジェクトが格納されていたとしてもディレクトリに効率的にアクセス可能にするためのディレクトリ・インデックシング
• 破損したinodeとディレクトリを検知するためのメタデータ・チェックサム
• 通常ファイル、ディレクトリ、シンボリックリンクなどのファイルシステムオブジェクトに数の制限なしにname/valueペアを付与するための拡張アトリビュート
• トラディショナルなファイルーアクセスパーミッションモデルに加え、POSIX ACLおよびSELinuxへの拡張されたセキュリティサポート
• ユーザーおよびグループQuotaのサポート
• 32bitと64bit、リトルエンディアン（x86,x86_64,ia64）とビッグエンディアン（ppc64）アーキテクチャの異種混合ノードから成るクラスターのサポート
• クラスターノードからの並列アクセスを管理する分散ロックマネージャ（DLM）を備えた容易に設定できるin-kernelのクラスタースタック（O2CB）
• バッファ、ダイレクト、非同期、スプライスおよびmemory-mapped I/Oのサポート
• ext3ファイルシステムと同様のパラメータを用いるツールセット

はじめてみよう

1. Oracle Cloud Infrastructure Block Volumeを複数インスタンスにアタッチ
2. OCFS2/O2CBクラスターノードをセットアップ
3. OCFS2ファイルシステムとマウントポイントの作成

ポート

• インターナルサブネットCIDR（172.0.0.0/16 - 非パブリックネットワーク）のすべてのプロトコルをオープン：

  Source: 172.0.0.0/16
  IP Protocol: All Protocols
  Allows: all traffic for all ports

• 必要なポートだけをオープン。7777と3260：

  Source: 172.0.0.0/16
  IP Protocol: TCP
  Source Port Range: All
  Destination Port Range: 7777
  Allows: TCP traffic for ports: 7777

  Source: 172.0.0.0/16
  IP Protocol: TCP
  Source Port Range: All
  Destination Port Range: 3260
  Allows: TCP traffic for ports: 3260

• sudo firewall-cmd --zone=public --permanent --add-port=7777/tcp
• sudo firewall-cmd --zone=public --permanent --add-port=3260/tcp
• sudo firewall-cmd --complete-reload

DNS

$ cat /etc/resolv.conf
; generated by /usr/sbin/dhclient-script
search baremetal.oraclevcn.com publicsubnetad1.baremetal.oraclevcn.com publicsubnetad2.baremetal.oraclevcn.com publicsubnetad3.baremetal.oraclevcn.com
nameserver 169.254.169.254

環境

OCFS2の構成

Cluster Stackの設定ファイルの作成

1. 必要なOCFS2パッケージのインストール：

   $ sudo yum install ocfs2-tools-devel ocfs2-tools -y

2.  o2cb コマンドまたはテキストエディタで設定ファイルを作成します。ここでは以下のコマンドでクラスター定義を作成しましょう。このコマンドは /etc/ocfs2/cluster.conf のクラスター設定ファイルを新たに作成します。

   $ sudo o2cb add-cluster ociocfs2

3. それぞれのノードについて、以下のコマンドでノードを定義します：

   $ sudo o2cb add-node ociocfs2 node1 --ip 172.0.0.41
   $ sudo o2cb add-node ociocfs2 node2 --ip 172.0.1.42

   注意：ノード名は/etc/sysconfig/networkで設定されるシステムのHOSTNAMEと同一の値である必要があります。また、IPアドレスはクラスター内でのプライベート通信でそのノードが使うものになります。/etc/ocfs2/cluster.confのクラスター設定ファイルをコピーし、クラスター内のそれぞれのノードに配置しましょう。なお、クラスター設定ファイルに行った更新は、クラスタースタックの再起動まで反映されません。
   以下の/etc/ocfs2/cluster.confの設定ファイルでは、2つのノードからなるociocfs2という名前のクラスターを、ローカルハートビート付きで定義しています。このブログポスト内で使っている設定はこれです。

   $ sudo cat /etc/ocfs2/cluster.conf
   cluster:
           heartbeat_mode = local
           node_count = 2
           name = ociocfs2
    
   node:
           number = 0
           cluster = ociocfs2
           ip_port = 7777
           ip_address = 172.0.0.41
           name = node1
    
   node:
           number = 1
           cluster = ociocfs2
           ip_port = 7777
           ip_address = 172.0.1.42
           name = node2

Cluster Stackの設定

1. クラスターの各ノードで以下のコマンドを実行します。オプションについてはドキュメントに記載があります。

   $ sudo /sbin/o2cb.init configure
   Configuring the O2CB driver.
    
   This will configure the on-boot properties of the O2CB driver.
   The following questions will determine whether the driver is loaded on
   boot. The current values will be shown in brackets ('[]'). Hitting
   <ENTER> without typing an answer will keep that current value. Ctrl-C
   will abort.
    
   Load O2CB driver on boot (y/n) [y]:
   Cluster stack backing O2CB [o2cb]:
   Cluster to start on boot (Enter "none" to clear) [ocfs2]: ociocfs2
   Specify heartbeat dead threshold (>=7) [31]:
   Specify network idle timeout in ms (>=5000) [30000]:
   Specify network keepalive delay in ms (>=1000) [2000]:
   Specify network reconnect delay in ms (>=2000) [2000]:
   Writing O2CB configuration: OK
   checking debugfs...
   Setting cluster stack "o2cb": OK
   Registering O2CB cluster "ociocfs2": OK
   Setting O2CB cluster timeouts : OK
   Starting global heartbeat for cluster "ociocfs2": OK

2. Cluster Stackの設定を確認するには、/sbin/o2cb.init status コマンドを実行します：

   $ sudo /sbin/o2cb.init status
   Driver for "configfs": Loaded
   Filesystem "configfs": Mounted
   Stack glue driver: Loaded
   Stack plugin "o2cb": Loaded
   Driver for "ocfs2_dlmfs": Loaded
   Filesystem "ocfs2_dlmfs": Mounted
   Checking O2CB cluster "ociocfs2": Online
     Heartbeat dead threshold: 31
     Network idle timeout: 30000
     Network keepalive delay: 2000
     Network reconnect delay: 2000
     Heartbeat mode: Local
   Checking O2CB heartbeat: Active
   Debug file system at /sys/kernel/debug: mounted

   この例では、クラスターはオンラインになっており、ローカルハートビートモードを使用しています。ボリュームが設定されていない場合、O2CBハートビートはActiveではなくNot Activeと表示されます。
3. o2cbとocfs2のサービスを設定し、ネットワークが有効化されたあとに起動時に開始されるようにしておきます：

   $ sudo systemctl enable o2cb
   $ sudo systemctl enable ocfs2

   これらの設定により、ノードはOCFS2ボリュームをシステム開始時に自動的にマウントできるようになります。

クラスターオペレーション用のカーネルの設定

1. 各ノードで以下のコマンドを実行し、panicとpanic-on-oopsに推奨値をセットします：

   $ sudo sysctl kernel.panic=30
   $ sudo sysctl kernel.panic_on_oops=1

2. /etc/sysctl.conf ファイルに以下のエントリーを追加し、変更を再起動後も永続するようにする：

   # Define panic and panic_on_oops for cluster operation
   kernel.panic=30
   kernel.panic_on_oops=1

Cluster Stackの起動と停止

ボリュームの作成とマウント

OCFS2ボリュームの作成

$ sudo mkfs.ocfs2 -L "ocfs2" /dev/sdb
mkfs.ocfs2 1.8.6
Cluster stack: classic o2cb
Label: ocfs2
Features: sparse extended-slotmap backup-super unwritten inline-data strict-journal-super xattr indexed-dirs refcount discontig-bg
Block size: 4096 (12 bits)
Cluster size: 4096 (12 bits)
Volume size: 12455405158400 (3040870400 clusters) (3040870400 blocks)
Cluster groups: 94274 (tail covers 512 clusters, rest cover 32256 clusters)
Extent allocator size: 780140544 (186 groups)
Journal size: 268435456
Node slots: 16
Creating bitmaps: done
Initializing superblock: done
Writing system files: done
Writing superblock: done
Writing backup superblock: 6 block(s)
Formatting Journals: done
Growing extent allocator: done
Formatting slot map: done
Formatting quota files: done
Writing lost+found: done
mkfs.ocfs2 successful

OCFS2ボリュームのマウント

1. 以下の例で示されているように、システムが起動時にネットワーキングが開始されてからOCFS2をマントできるように、また、ネットワーキングが停止した際にはアンマウントするように、/etc/fstab内にnetdevオプションを指定してください。

   $ sudo mkdir /ocfs2
   $ sudo vi /etc/fstab
   #include the below line to mount your ocfs2 after a restart
   /dev/sdb /ocfs2 ocfs2     _netdev,defaults   0 0 

2. mount -a を実行してOCFS2パーティションをfstabのエントリーをベースにマウントします。