[Cloud] Cloud SyncでStorage Gatewayを最大限活用／Get the Most Out of Storage Gateway with Cloud Sync

Oracle Cloud Infrastructure Storage GatewayのCloud Sync機能はふたつのNFSサーバー間でのファイル同期を可能にしてくれます。

以前のわたしのブログポストで、Oracle Cloud Infrastructure上で稼働するよう作られたObject StorageベースのNFSサーバーであるStorage Gatewayをご紹介しました。このソリューションはデータ転送、バックアップおよびアーカイブのユースケースにぴったりです。また、クラウドネイティブではないソフトウェアがObject Storageバケットのオブジェクトをどのように取り出したり書き込んだりするかを意識せずにObject Storageを使えるようにしてくれます。

しかし、あなたのアプリケーションが高頻度で大規模なファイル書き込みを行うようなものだったとしたらどうでしょう？このようなケースでは、Storage Gatewayに直接書き込みを行うやり方はあまり実践的ではありません。外部のクラウドリソースからのファイル読み込み、書き込みには時間がかかりますから、高速なストレージを必要とするアプリケーションをスローダウンさせてしまうでしょう。一方で、あなたはObject Storageを使うことで得られる事実上無限のストレージ容量を欲しています。このような場合に一般的なソリューションには、ふたつのNFSサーバーを稼働させることが含まれています；ひとつは高速なBlock Volumeベースのものにしておいて、アーカイブ用にはObject Storageベースのものを使う、というやつです。そして、もしローカルNFS上のファイルをStorage Gateway上のファイルと同期できたら便利です。これをマニュアルで行うこともできるでしょうが、ヒューマンエラーの可能性が怖いですよね。であればCloud Syncを使うこともできますよ。

Storage GatewayのCloud Sync機能は、Linux標準のrsyncコマンドを用いてローカルのNFSサーバー上のファイルをObject StorageベースのStorage Gateway NFSサーバーへの同期、またその逆の同期を行うものです。さらに、このツールはエラーハンドリングと進捗のモニタリングも行います。この機能はメタ―自動ジョブ（たとえば夜間cronジョブ）を行うもので、スクリプトに加えたりすることなく使えるためとても簡単にできます。接続の問題は自動リトライでシームレスに対処され、Webコンソールとコマンドラインインターフェース（CLI）のどちらで起動してもステータスフィードバックを提供します。高いレベルでの自動化を行うには、出力をCLIでモニタリングしておくことが理想的でしょう。

でもちょっと待ってください…これだけではありません！CLIのパラメータからわかるように、Cloud Syncは人間がほとんどいつも失敗してしまうタスクであるファイルのパラレル同期を行ってくれます：

ジョブを作成し、パラレル処理するプロセスの数（最大10まで）を指定し、実行するだけでいいのです：

ローカルNFSサーバーからStorage Gatewayに大きなデータを転送したいような場合に特に、この機能が役立ちます。もしかしたらあなたは数テラバイトのデータをObject Storageに移動しようとしているかもしれません。Cloud Sync機能を使うことで、1日数十テラバイトのデータを扱うこともできるようになります。自動リトライと再開機能により、人による干渉は必要なくなります。

わたしはいつもCLIを使うことをおすすめしていますが、Webコンソールでも高速で直観的、便利にClous Syncジョブを作成し、実行し、参照し、削除することができますよ。

このOracle Cloud Infrastructureの新機能についての記事を楽しんでいただけたなら幸いです。ではまた次回お会いするときまで、クラウドであれ！