メインコンテンツまでスキップ

クラスターの協調動作 Enterprise

Semaphore のノードが互いに直接通信することはありません。ノード間で合意が必要な情報はすべて Redis を経由します。どのノードが稼働しているか、どのタスクがどのノードに属するか、どのノードがスケジュールを起動するか、どの UI メッセージを中継するか、といった情報です。この状態の各要素は有効期限付きの少数の Redis キーとして保持されるため、クラッシュしたノードが何かを長く残し続けることはありません。永続的なデータ (タスク、テンプレート、ログ、ランナー) は常にデータベースに保存され、Redis は調整用の状態だけを保持します。

すべてのキーは固定のプレフィックス ha: と tasks: を使用します。これらは設定で変更できないため、1 台の Redis サーバーを共有する 2 つの Semaphore クラスターは、異なるデータベース番号 (ha.redis.db) を使用する必要があります。

ノードレジストリ​

各ノードは起動時に自身を登録し、その後 10 秒ごとにレコードを更新します。レコードは 30 秒で期限切れになるため、更新を停止したノードは最長でも 30 秒後には停止したものと見なされます。正常なシャットダウン時には、ノードは自身のレコードを直ちに削除します。

キー型用途
ha:node:<node_id>string、JSON1 つのノードのハートビート: node_id、started_at、version、last_beat。最後の更新から 30 秒後に期限切れになります。
ha:nodesset登録されているすべてのノードの ID。ハートビートキーが期限切れになったメンバーは、他のノードによって削除されます。

ノードレジストリは、クラスターダッシュボードに表示される内容であり、タスクの所有者がまだ稼働しているかを判断するためにオーファンクリーナー (後述) が参照する情報でもあります。

タスクキューと実行中のタスク​

タスクキューは共有されているため、あるノードで開始されたタスクを、他の任意のノードがディスパッチ、監視、完了処理できます。Redis に保存されるのはタスク ID といくつかの一時的なフィールドだけで、タスク自体は必要とするノードがデータベースから読み込みます。

キー型用途
tasks:queuelistディスパッチ待ちのタスクの ID (順序付き)。
tasks:claim:<task_id>stringタスクを所有するノードの ID。キューからの削除と同時にアトミックに書き込まれるため、タスクは必ず 1 つのノードだけに取得されます。5 分後に期限切れになり、所有者が 1 分ごとに更新します。
tasks:runningset現在実行中のタスクの ID。
tasks:active:<project_id>setプロジェクト内でアクティブ (待機中または実行中) なタスクの ID。プロジェクトごとの同時実行数の制限に使用されます。
tasks:task_projecthashtask_id → project_id。どのノードでもデータベースからタスクを読み込めるようにするためのものです。
tasks:aliaseshashエイリアスで参照されるタスクの alias → task_id。
tasks:runtime:<task_id>hashランナー ID や起動したユーザーなど、タスクの実行中に変化するフィールド。
tasks:finalize:<task_id>stringリモートランナーで実行されたタスクの最終結果を書き込むノードが取得するロック。5 分後に期限切れになります。

tasks:task_project、tasks:aliases、tasks:runtime:* のエントリはタスクの完了時に削除され、さらに安全策として 7 日後に期限切れになります。

ノードは 1 回のアトミックな操作でキューからタスクを取り出します。タスクがまだキューにあることを確認し、クレームを書き込み、キューからタスクを削除し、実行中セットに追加します。2 つのノードが同時に試みた場合、成功するのは 1 つだけです。

オーファンクリーナー。 各ノードは 1 分に 1 回、所有者が停止している実行中のタスク、つまりクレームが期限切れになっているか所有者のハートビートが消えているタスクを確認します。データベース上で既に完了となっているタスクは、Redis から単に削除されます。まだランナーに渡されていないタスクはキューに戻され、稼働中のノードがディスパッチします。既にランナー上で実行中のタスクはそのままにされます。ランナーは処理を続け、データベース上で完了と表示された時点でタスクがクリーンアップされます。

ロック​

ロックは SET NX で作成される単一のキーです。キーの作成に成功したノードがロックを保持します。すべてのロックには有効期限があり、長時間保持されるロックは所有者によって更新されるため、クラッシュしたノードのロックは自動的に解放されます。

キー有効期限用途
ha:sched:lock:<schedule_id>:<minute>55 秒スケジュールごと、1 分ごとに 1 つのロック。これを作成したノードがスケジュールを起動し、他のノードはスキップします。
ha:wf:lock:<project_id>:<run_id>30 秒、10 秒ごとに更新特定のワークフロー実行を進行させるノードは同時に 1 つだけです。
ha:wf:start:<project_id>:<template_id>10 秒新しいワークフロー実行を作成する間の短いロック。2 つのノードが同じワークフローを二重に開始しないようにします。
ha:audit:export:<destination_id>30 秒、10 秒ごとに更新特定の送信先に監査イベントをエクスポートするノードは 1 つだけです。Redis が利用できない場合はどのノードもエクスポートしないため、イベントが二重に送信されることはありません。

スケジュールとワークフローのロックはフェイルオープンです。Redis に到達できない場合、ノードは処理をスキップせずに続行し、データベースの条件付き更新によって結果の正しさが保たれます。監査エクスポートのリースはフェイルクローズです。重複したエクスポートは取り消せないためです。

Pub/Sub チャンネル​

チャンネル用途
ha:ws:broadcastUI 向けの WebSocket メッセージ。ノードは自身に接続しているブラウザーにメッセージを配信するとともに、ここに発行します。他のノードはそれを自身のブラウザーに中継します。
tasks:eventsタスクキューと実行中セットの変更、ランタイムフィールドの更新、強制停止リクエスト。ノードはこれらのイベントを使用して、メモリ上のキューの状態を最新に保ち、他のノードから停止を要求されたタスクを停止します。

メッセージには送信元ノードの ID が含まれているため、ノードは自身のメッセージを無視します。

ランナーキャッシュのキー​

ha:runner:* キーは、ランナーレコードの共有キャッシュに属します。詳細はランナー認証キャッシュを参照してください。