Координация кластера Enterprise
Узлы Semaphore никогда не общаются друг с другом напрямую. Всё, о чём им нужно договориться, проходит через Redis: кто жив, какая задача какому узлу принадлежит, кто запускает расписание и какие сообщения UI нужно переслать. Каждая часть этого состояния — небольшой набор ключей Redis со сроком жизни, поэтому упавший узел не может надолго оставить после себя мусор. Долговременные данные (задачи, шаблоны, логи, runner'ы) всегда живут в базе данных; в Redis хранится только координационное состояние.
Все ключи используют фиксированные префиксы ha: и tasks:. Они не настраиваются, поэтому два кластера Semaphore на одном сервере Redis должны использовать разные номера баз (ha.redis.db).
Реестр узлов
Каждый узел регистрируется при старте и затем обновляет свою запись каждые 10 секунд. Запись истекает через 30 секунд, поэтому узел, переставший её обновлять, считается мёртвым самое большее через полминуты. При штатной остановке узел удаляет свою запись сразу.
| Ключ | Тип | Назначение |
|---|---|---|
ha:node:<node_id> | строка, JSON | Heartbeat одного узла: node_id, started_at, version, last_beat. Истекает через 30 с после последнего обновления. |
ha:nodes | множество | Идентификаторы всех зарегистрированных узлов. Участников, чей heartbeat-ключ истёк, вычищают остальные узлы. |
Именно реестр узлов показывает панель кластера, и к нему же обращается сборщик осиротевших задач (см. ниже), чтобы решить, жив ли ещё владелец задачи.
Очередь задач и выполняющиеся задачи
Очередь задач общая, поэтому задачу, запущенную на одном узле, может взять в работу, отслеживать и завершать любой другой. В Redis хранятся только идентификаторы задач и несколько временных полей; саму задачу из базы данных загружает тот узел, которому она понадобилась.
| Ключ | Тип | Назначение |
|---|---|---|
tasks:queue | список | Идентификаторы задач, ожидающих отправки на выполнение, по порядку. |
tasks:claim:<task_id> | строка | Идентификатор узла, которому принадлежит задача. Записывается атомарно вместе с удалением из очереди, поэтому задачу забирает ровно один узел. Истекает через 5 минут; владелец продлевает его каждую минуту. |
tasks:running | множество | Идентификаторы задач, которые выполняются в данный момент. |
tasks:active:<project_id> | множество | Идентификаторы активных задач проекта (ожидающих или выполняющихся). Исп ользуется для ограничения параллельности в проекте. |
tasks:task_project | хеш | task_id → project_id, чтобы любой узел мог загрузить задачу из базы данных. |
tasks:aliases | хеш | alias → task_id для задач, к которым обращаются по псевдониму. |
tasks:runtime:<task_id> | хеш | Поля, меняющиеся по ходу выполнения, например идентификатор runner'а и имя запустившего пользователя. |
tasks:finalize:<task_id> | строка | Блокировка узла, записывающего итоговый результат задачи, выполнявшейся на удалённом runner'е. Истекает через 5 минут. |
Записи в tasks:task_project, tasks:aliases и tasks:runtime:* удаляются по завершении задачи и дополнительно истекают через 7 дней на всякий случай.
Узел забирает задачу из очереди одной атомарной операцией: проверяет, что задача всё ещё в очереди, записывает владельца, удаляет задачу из очереди и добавляет её во множество выполняющихся. Если два узла попытаются сделать это одновременно, получится только у одного.
Сборщик осиротевших задач. Раз в минуту каждый узел просматривает выполняющиеся задачи, владелец которых мёртв: запись владельца истекла или пропал его heartbeat. Задача, которую база данных уже считает завершённой, просто удаляется из Redis. Задача, которую так и не передали runner'у, возвращается в очередь, чтобы её отправил живой узел. Задача, которая уже выполняется на runner'е, не трогается: runner продолжает работу, а задача будет вычищена, когда база данных покажет её завершённой.
Блокировки
Блокировка — это одиночный ключ, создаваемый командой SET NX: блокировку держит тот узел, которому удалось создать ключ. У каждой блокировки есть срок жизни, а долго удерживаемые блокировки владелец продлевает, поэтому упавший узел освобождает свои блокировки автоматически.
| Ключ | Срок жизни | Назначение |
|---|---|---|
ha:sched:lock:<schedule_id>:<minute> | 55 с | Одна блокировка на расписание в минуту. Узел, создавший её, запускает расписание; остальные пропускают запуск. |
ha:wf:lock:<project_id>:<run_id> | 30 с, продлевается кажд ые 10 с | Конкретный запуск workflow в каждый момент продвигает только один узел. |
ha:wf:start:<project_id>:<template_id> | 10 с | Короткая блокировка на время создания нового запуска workflow, чтобы два узла не запустили один workflow дважды. |
ha:audit:export:<destination_id> | 30 с, продлевается каждые 10 с | События аудита в конкретное назначение экспортирует только один узел. Если Redis недоступен, не экспортирует никто, поэтому события никогда не отправляются дважды. |
Блокировки расписаний и workflow при сбое открываются: если до Redis не достучаться, узел продолжает работу, а не пропускает её, и корректность результата обеспечивают условные обновления в базе данных. Аренда экспорта аудита при сбое закрывается, потому что повторный экспорт отменить нельзя.
Каналы Pub/Sub
| Канал | Назначение |
|---|---|
ha:ws:broadcast | WebSocket-сообщения для UI. Узел доставляет сообщение своим подключённым браузерам и публикует его сюда; остальные узлы пересылают его своим. |
tasks:events | Изменения очереди задач и множества выполняющихся, обновления полей времени выполнения и запросы на принудительную остановку. По этим событиям узлы поддерживают актуальной свою картину очереди в памяти и останавливают задачу, остановить которую попросил другой узел. |
Сообщения содержат идентификатор узла-отправителя, поэтому узел игнорирует собственные сообщения.
Ключи кэша runner'ов
Ключи ha:runner:* принадлежат общему кэшу записей runner'ов. Подробнее см. в разделе Кэш аутентификации runner'ов.
Связанные страницы
- Высокая доступность — архитектура, конфигурация и настройка балансировщика.
- Кэш аутентификации runner'ов — общий кэш записей runner'ов.